]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
simple : update error message for KV cache check (#4324)
authorDaniel Bevenius <redacted>
Mon, 4 Dec 2023 16:04:21 +0000 (17:04 +0100)
committerGitHub <redacted>
Mon, 4 Dec 2023 16:04:21 +0000 (18:04 +0200)
This commit updates the error message that is printed when the
KV cache is not big enough to hold all the prompt and generated
tokens. Specifically it removes the reference to n_parallel and
replaces it with n_len.

Signed-off-by: Daniel Bevenius <redacted>
examples/simple/simple.cpp

index 374aef6f16189c5efa7073fdc57b6edfd632001b..9cfde8308f18f8dae3a07501c6e41928d90f05b8 100644 (file)
@@ -75,7 +75,7 @@ int main(int argc, char ** argv) {
     // make sure the KV cache is big enough to hold all the prompt and generated tokens
     if (n_kv_req > n_ctx) {
         LOG_TEE("%s: error: n_kv_req > n_ctx, the required KV cache size is not big enough\n", __func__);
-        LOG_TEE("%s:        either reduce n_parallel or increase n_ctx\n", __func__);
+        LOG_TEE("%s:        either reduce n_len or increase n_ctx\n", __func__);
         return 1;
     }