]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
model-conversion : add --embeddings flag to modelcard.template [no ci] (#15801)
authorDaniel Bevenius <redacted>
Fri, 5 Sep 2025 02:36:23 +0000 (04:36 +0200)
committerGitHub <redacted>
Fri, 5 Sep 2025 02:36:23 +0000 (04:36 +0200)
This commit updates the modelcard.template file used in the model
conversion scripts for embedding models to include the llama-server
--embeddings flag in the recommended command to run the model.

The motivation for this change was that when using the model-conversion
"tool" to upload the EmbeddingGemma models to Hugging Face this flag was
missing and the embedding endpoint was there for not available when
copy&pasting the command.

examples/model-conversion/scripts/embedding/modelcard.template

index 75c580524f667a05518dd77d644c4fd3aba41154..9e63042b7b597fc8fcfe6e76830b746c4e47b092 100644 (file)
@@ -7,7 +7,7 @@ base_model:
 Recommended way to run this model:
 
 ```sh
-llama-server -hf {namespace}/{model_name}-GGUF
+llama-server -hf {namespace}/{model_name}-GGUF --embeddings
 ```
 
 Then the endpoint can be accessed at http://localhost:8080/embedding, for