]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
llama : allow pooled embeddings on any model (#7477)
authorDouglas Hanley <redacted>
Fri, 21 Jun 2024 05:38:22 +0000 (00:38 -0500)
committerGitHub <redacted>
Fri, 21 Jun 2024 05:38:22 +0000 (08:38 +0300)
commit80ea089d771f0c2d97afa8bead80ded412f600d7
tree25c04a967b5913ffdc00d1a851dcfbeb9ab37a37
parent0e64591e8290037db6412665a56354b789a0597e
llama : allow pooled embeddings on any model (#7477)

* create append_pooling operation; allow to specify attention_type; add last token pooling; update examples

* find result_norm/result_embd tensors properly; update output allocation logic

* only use embd output for pooling_type NONE

* get rid of old causal_attn accessor

* take out attention_type; add in llama_set_embeddings

* bypass logits when doing non-NONE pooling
common/common.cpp
examples/embedding/embedding.cpp
examples/gritlm/gritlm.cpp
examples/retrieval/retrieval.cpp
llama.cpp
llama.h