]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
server : add api-key flag to documentation (#4832)
authorZsapi <redacted>
Tue, 9 Jan 2024 09:12:43 +0000 (10:12 +0100)
committerGitHub <redacted>
Tue, 9 Jan 2024 09:12:43 +0000 (11:12 +0200)
Document the api-key flag added to server in https://github.com/ggerganov/llama.cpp/pull/4441

examples/server/README.md

index 243e669912cf0e8f7384f1fadd81258f636eb104..5d982962430839dc1e2a33548ff20e2a5eece686 100644 (file)
@@ -23,6 +23,7 @@ Command line options:
 -   `--host`: Set the hostname or ip address to listen. Default `127.0.0.1`.
 -   `--port`: Set the port to listen. Default: `8080`.
 -   `--path`: path from which to serve static files (default examples/server/public)
+-   `--api-key`: Set an api key for request authorization. By default the server responds to every request. With an api key set, the requests must have the Authorization header set with the api key as Bearer token.
 -   `--embedding`: Enable embedding extraction, Default: disabled.
 -   `-np N`, `--parallel N`: Set the number of slots for process requests (default: 1)
 -   `-cb`, `--cont-batching`: enable continuous batching (a.k.a dynamic batching) (default: disabled)