]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
perplexity : provide a helpful hint for has_cpl case in split_equal error. (#15304)
authorkallewoof <redacted>
Thu, 14 Aug 2025 11:03:30 +0000 (20:03 +0900)
committerGitHub <redacted>
Thu, 14 Aug 2025 11:03:30 +0000 (14:03 +0300)
When attempting to do llama-perplexity on certain tasks which have coupled sequences there is a cryptic error that does not tell you what to do, which is to set the -kvu flag. This adds a hint about that fact.

src/llama-batch.cpp

index 8698d89acecb24967b66038d45dd846bb7c16c45..55d89eca0ad94938d471cdd1f6d714850e0ead79 100644 (file)
@@ -477,7 +477,7 @@ llama_ubatch llama_batch_allocr::split_simple(uint32_t n_ubatch) {
 
 llama_ubatch llama_batch_allocr::split_equal(uint32_t n_ubatch, bool sequential) {
     if (sequential && has_cpl) {
-        LLAMA_LOG_ERROR("%s: sequential split is not supported when there are coupled sequences in the input batch\n", __func__);
+        LLAMA_LOG_ERROR("%s: sequential split is not supported when there are coupled sequences in the input batch (you may need to use the -kvu flag)\n", __func__);
 
         return {};
     }