]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
llama : fix embeddings (#5796)
authorGeorgi Gerganov <redacted>
Mon, 4 Mar 2024 20:31:20 +0000 (22:31 +0200)
committerGitHub <redacted>
Mon, 4 Mar 2024 20:31:20 +0000 (22:31 +0200)
commit29ae62d2ae163e2b68aa0ad3bf2ab4636de0c957
treea65058dfddf1672f1d765e324dac9f66abf1a7c1
parente0843afe1b37890b631bc7d3d2da2ed36c862b91
llama : fix embeddings (#5796)

* llama : fix embeddings

ggml-ci

* llama : do not use KV cache for non-causal models

ggml-ci

* embeddings : fix llama_batch_init arg

* llama : add pooling switch

* llama : distinguish token vs sequence embeddings

ggml-ci

* llama : assert pooling tensor

* llama : simplify causal mask condition

ggml-ci

* llama : assert input batch with pooling enabled

* readme : update API changes list
README.md
common/common.cpp
examples/embedding/embedding.cpp
examples/server-embd.py [new file with mode: 0644]
examples/server/server.cpp
llama.cpp
llama.h