]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
tools : enable kvu in perplexity for hellaswag, winogrande, multiple-choice (#19954)
authorAdrien Gallouët <redacted>
Fri, 13 Mar 2026 20:25:57 +0000 (21:25 +0100)
committerGitHub <redacted>
Fri, 13 Mar 2026 20:25:57 +0000 (21:25 +0100)
commit463b6a963c2de376e102d878a50d26802f15833c
tree0dbcf36d4e3944297a7acf951eb3c5dc9ee65336
parente30f1fdf74ea9238ff562901aa974c75aab6619b
tools : enable kvu in perplexity for hellaswag, winogrande, multiple-choice (#19954)

llama-perplexity -hf unsloth/Qwen3-0.6B-GGUF:Q4_K_M -f winogrande-debiased-eval.csv --winogrande

    winogrande_score : tokenizing selected tasks
    winogrande_score : calculating winogrande score over selected tasks.
    split_equal: sequential split is not supported when there are coupled sequences in the input batch (you may need to use the -kvu flag)
    decode: failed to find a memory slot for batch of size 46
    failed to decode the batch, n_batch = 2048, ret = 1
    winogrande_score: llama_decode() failed

same for hellaswag:

    split_equal: sequential split is not supported when there are coupled sequences in the input batch (you may need to use the -kvu flag)
    decode: failed to find a memory slot for batch of size 99
    failed to decode the batch, n_batch = 2048, ret = 1
    hellaswag_score: llama_decode() failed

Signed-off-by: Adrien Gallouët <redacted>
tools/perplexity/perplexity.cpp