]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
Update server instructions for web front end (#2103)
authorJesse Jojo Johnson <redacted>
Wed, 5 Jul 2023 15:13:35 +0000 (15:13 +0000)
committerGitHub <redacted>
Wed, 5 Jul 2023 15:13:35 +0000 (18:13 +0300)
Co-authored-by: Jesse Johnson <redacted>
examples/server/README.md

index 4ed226e048218085a4d907e9d18199845263bc33..160614ba81895808249bb126877ec9d7f9fec3a9 100644 (file)
@@ -1,6 +1,6 @@
 # llama.cpp/example/server
 
-This example demonstrates a simple HTTP API server to interact with llama.cpp.
+This example demonstrates a simple HTTP API server and a simple web front end to interact with llama.cpp.
 
 Command line options:
 
@@ -21,6 +21,7 @@ Command line options:
 -   `-to N`, `--timeout N`: Server read/write timeout in seconds. Default `600`.
 -   `--host`: Set the hostname or ip address to listen. Default `127.0.0.1`.
 -   `--port`: Set the port to listen. Default: `8080`.
+-   `--public`: path from which to serve static files (default examples/server/public)
 -   `--embedding`: Enable embedding extraction, Default: disabled.
 
 ## Build
@@ -59,7 +60,7 @@ server.exe -m models\7B\ggml-model.bin -c 2048
 ```
 
 The above command will start a server that by default listens on `127.0.0.1:8080`.
-You can consume the endpoints with Postman or NodeJS with axios library.
+You can consume the endpoints with Postman or NodeJS with axios library. You can visit the web front end at the same url.
 
 ## Testing with CURL