]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
server : ignore --alias when using --models-preset (#21380)
authorAdrien Gallouët <redacted>
Fri, 10 Apr 2026 15:42:56 +0000 (17:42 +0200)
committerGitHub <redacted>
Fri, 10 Apr 2026 15:42:56 +0000 (17:42 +0200)
I'm not sure what the purpose of keeping `--alias` was when using
`--models-preset`, but the result is really weird, as shown in the
following logs:

    $ build/bin/llama-server --models-preset preset.ini --alias "Gemma 4 E4B UD Q8_K_XL"
    ...
    init: using 31 threads for HTTP server
    srv   load_models: Loaded 2 cached model presets
    srv   load_models: Loaded 1 custom model presets from preset.ini
    main: failed to initialize router models: alias 'Gemma 4 E4B UD Q8_K_XL' for model 'angt/test-split-model-stories260K:F32' conflicts with existing model name

So I propose to simply ignore `--alias` too in this case. With this
commit, the server starts in routing mode correctly.

Signed-off-by: Adrien Gallouët <redacted>
tools/server/server-models.cpp

index c83709272f03b45bf8bc4ee707988b8623d0d8c5..c4ef62d2ea89d08e70fe20d1993ceba52e7312bb 100644 (file)
@@ -98,6 +98,7 @@ static void unset_reserved_args(common_preset & preset, bool unset_model_args) {
     if (unset_model_args) {
         preset.unset_option("LLAMA_ARG_MODEL");
         preset.unset_option("LLAMA_ARG_MMPROJ");
+        preset.unset_option("LLAMA_ARG_ALIAS");
         preset.unset_option("LLAMA_ARG_HF_REPO");
     }
 }