]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
server: Update README.md incorrect argument (#18073)
author2114L3 <redacted>
Tue, 16 Dec 2025 10:50:43 +0000 (20:50 +1000)
committerGitHub <redacted>
Tue, 16 Dec 2025 10:50:43 +0000 (11:50 +0100)
n-gpu-layer is incorrect
argument is n-gpu-layers with the 's'

tools/server/README.md

index 073bcd2ccd7f89f65e3116beacb8e290fd139f7e..ef4990faf1d9e2e78dd71565f585ea736f308349 100644 (file)
@@ -1430,7 +1430,7 @@ Model presets allow advanced users to define custom configurations using an `.in
 llama-server --models-preset ./my-models.ini
 ```
 
-Each section in the file defines a new preset. Keys within a section correspond to command-line arguments (without leading dashes). For example, the argument `--n-gpu-layer 123` is written as `n-gpu-layer = 123`.
+Each section in the file defines a new preset. Keys within a section correspond to command-line arguments (without leading dashes). For example, the argument `--n-gpu-layers 123` is written as `n-gpu-layers = 123`.
 
 Short argument forms (e.g., `c`, `ngl`) and environment variable names (e.g., `LLAMA_ARG_N_GPU_LAYERS`) are also supported as keys.
 
@@ -1445,7 +1445,7 @@ version = 1
 ; string value
 chat-template = chatml
 ; numeric value
-n-gpu-layer = 123
+n-gpu-layers = 123
 ; flag value (for certain flags, you need to use the "no-" prefix for negation)
 jinja = true
 ; shorthand argument (for example, context size)