]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
llama : new sampling algorithms (#1126)
authorIvan Stepanov <redacted>
Sat, 29 Apr 2023 05:34:41 +0000 (08:34 +0300)
committerGitHub <redacted>
Sat, 29 Apr 2023 05:34:41 +0000 (08:34 +0300)
commitdd7eff57d8491792010b1002b8de6a4b54912e5c
treeed7f7c85ef220cafca40976b52bfeac948b3c673
parent7fc50c051ae8a78e9643fdf172d12e20f2dd9b6c
llama : new sampling algorithms (#1126)

* Sample interface, new samplers.

New samplers:
- locally typical sampling
- tail free sampling
- frequency and presence penalty
- mirostat

Ignore EOS fix: -inf should be used.

* mirostat

* Added --logit-bias and --no-penalize-nl, removed std::span

* Use C++11, clarify llama API documentation, rename Mirostat parameters to --mirostat_lr and --mirostat_ent, add temperature sampling for Mirostat, simplify Mirostat sampling API parameters (removed N and *k)

Use C++11, clarify llama API documentation, rename Mirostat parameters to --mirostat_lr and --mirostat_ent, add temperature sampling for Mirostat, simplify Mirostat sampling API parameters (removed N and *k)

* Save and load example adjust

* Tests

* Windows build fix

* Windows test fix
examples/common.cpp
examples/common.h
examples/main/main.cpp
examples/save-load-state/save-load-state.cpp
llama.cpp
llama.h
tests/CMakeLists.txt
tests/test-sampling.cpp [new file with mode: 0644]