]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
Update server docker image URLs (#5997)
authorJakub N <redacted>
Mon, 11 Mar 2024 13:40:42 +0000 (14:40 +0100)
committerGitHub <redacted>
Mon, 11 Mar 2024 13:40:42 +0000 (14:40 +0100)
examples/server/README.md

index 3767390511e5fcd74a11af8804318b0583ddd6d4..8f8454affaecd766cf5946b12f3946b97bd78adb 100644 (file)
@@ -123,10 +123,10 @@ You can consume the endpoints with Postman or NodeJS with axios library. You can
 ### Docker
 
 ```bash
-docker run -p 8080:8080 -v /path/to/models:/models ggerganov/llama.cpp:server -m models/7B/ggml-model.gguf -c 512 --host 0.0.0.0 --port 8080
+docker run -p 8080:8080 -v /path/to/models:/models ghcr.io/ggerganov/llama.cpp:server -m models/7B/ggml-model.gguf -c 512 --host 0.0.0.0 --port 8080
 
 # or, with CUDA:
-docker run -p 8080:8080 -v /path/to/models:/models --gpus all ggerganov/llama.cpp:server-cuda -m models/7B/ggml-model.gguf -c 512 --host 0.0.0.0 --port 8080 --n-gpu-layers 99
+docker run -p 8080:8080 -v /path/to/models:/models --gpus all ghcr.io/ggerganov/llama.cpp:server-cuda -m models/7B/ggml-model.gguf -c 512 --host 0.0.0.0 --port 8080 --n-gpu-layers 99
 ```
 
 ## Testing with CURL