]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
server : update llama-server embedding flag documentation (#8779)
authorIgor Okulist <redacted>
Wed, 31 Jul 2024 23:59:09 +0000 (18:59 -0500)
committerGitHub <redacted>
Wed, 31 Jul 2024 23:59:09 +0000 (19:59 -0400)
Fixes #8763

common/common.cpp
examples/server/README.md

index 60c7eac75c613bfccf3002ae93b2b57de6970ac8..521f849e2ce0b73b42f8886dbfca0cb494ab3e2d 100644 (file)
@@ -1634,7 +1634,7 @@ void gpt_params_print_usage(int /*argc*/, char ** argv, const gpt_params & param
     options.push_back({ "server",      "       --host HOST",            "ip address to listen (default: %s)", params.hostname.c_str() });
     options.push_back({ "server",      "       --port PORT",            "port to listen (default: %d)", params.port });
     options.push_back({ "server",      "       --path PATH",            "path to serve static files from (default: %s)", params.public_path.c_str() });
-    options.push_back({ "server",      "       --embedding(s)",         "enable embedding endpoint (default: %s)", params.embedding ? "enabled" : "disabled" });
+    options.push_back({ "server",      "       --embedding(s)",         "restrict to only support embedding use case; use only with dedicated embedding models (default: %s)", params.embedding ? "enabled" : "disabled" });
     options.push_back({ "server",      "       --api-key KEY",          "API key to use for authentication (default: none)" });
     options.push_back({ "server",      "       --api-key-file FNAME",   "path to file containing API keys (default: none)" });
     options.push_back({ "server",      "       --ssl-key-file FNAME",   "path to file a PEM-encoded SSL private key" });
index 33a2b95cc0edb5a23ed78d720d5fd04aece900f0..de83ee7d05e7b6c0b7aeda93f9ad9ba72902740b 100644 (file)
@@ -247,7 +247,7 @@ server:
          --host HOST              ip address to listen (default: 127.0.0.1)
          --port PORT              port to listen (default: 8080)
          --path PATH              path to serve static files from (default: )
-         --embedding(s)           enable embedding endpoint (default: disabled)
+         --embedding(s)           restrict to only support embedding use case; use only with dedicated embedding models (default: disabled)
          --api-key KEY            API key to use for authentication (default: none)
          --api-key-file FNAME     path to file containing API keys (default: none)
          --ssl-key-file FNAME     path to file a PEM-encoded SSL private key