]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
imatrix : Add imatrix to --no-context-shift (#10766)
authorBartowski <redacted>
Tue, 10 Dec 2024 17:23:50 +0000 (12:23 -0500)
committerGitHub <redacted>
Tue, 10 Dec 2024 17:23:50 +0000 (18:23 +0100)
This allows for setting the --no-context-shift value in llama-imatrix which is required for models like DeepSeek

common/arg.cpp

index 808ec1c3e65fca4ec8316247f0dae1b063e86dcf..49af31682510d3270690bcb4077a6fdc2195a497 100644 (file)
@@ -591,7 +591,7 @@ common_params_context common_params_parser_init(common_params & params, llama_ex
         [](common_params & params) {
             params.ctx_shift = false;
         }
-    ).set_examples({LLAMA_EXAMPLE_MAIN, LLAMA_EXAMPLE_SERVER}).set_env("LLAMA_ARG_NO_CONTEXT_SHIFT"));
+    ).set_examples({LLAMA_EXAMPLE_MAIN, LLAMA_EXAMPLE_SERVER, LLAMA_EXAMPLE_IMATRIX}).set_env("LLAMA_ARG_NO_CONTEXT_SHIFT"));
     add_opt(common_arg(
         {"--chunks"}, "N",
         string_format("max number of chunks to process (default: %d, -1 = all)", params.n_chunks),