]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
common : add default embeddings presets (#11677)
authorDaniel Bevenius <redacted>
Fri, 7 Feb 2025 08:15:22 +0000 (09:15 +0100)
committerGitHub <redacted>
Fri, 7 Feb 2025 08:15:22 +0000 (09:15 +0100)
commitb7552cfcbc7defccd8bdefd0a7b9c47d145ed3d7
treefabd089fc466b118673be163fa75d199322f839e
parent225bbbfa39930cda38a2e5d1f3e5b38226732009
common : add default embeddings presets (#11677)

* common : add default embeddings presets

This commit adds default embeddings presets for the following models:
- bge-small-en-v1.5
- e5-small-v2
- gte-small

These can be used with llama-embedding and llama-server.

For example, with llama-embedding:
```console
./build/bin/llama-embedding --embd-gte-small-default -p "Hello, how are you?"
```

And with llama-server:
```console
./build/bin/llama-server --embd-gte-small-default
```
And the embeddings endpoint can then be called with a POST request:
```console
curl --request POST \
    --url http://localhost:8080/embeddings \
    --header "Content-Type: application/json" \
    --data '{"input": "Hello, how are you?"}'
```

I'm not sure if these are the most common embedding models but hopefully
this can be a good starting point for discussion and further
improvements.

Refs: https://github.com/ggerganov/llama.cpp/issues/10932
common/arg.cpp