]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
completion : simplify batch (embd) processing (#19286)
authorDaniel Bevenius <redacted>
Wed, 4 Feb 2026 04:43:28 +0000 (05:43 +0100)
committerGitHub <redacted>
Wed, 4 Feb 2026 04:43:28 +0000 (05:43 +0100)
commit25f40ca65f1aa596f8b1702bbac4bc48a45b87d7
treea29852b24d2da6029c217c31c2c25fe65297d1f4
parent015deb90485b9ebfff492e10fe7080a0439202b6
completion : simplify batch (embd) processing (#19286)

* completion : simplify batch (embd) processing

This commit simplifies the processing of embd by removing the for loop
that currently exists which uses params.n_batch as its increment. This
commit also removes the clamping of n_eval as the size of embd is always
at most the size of params.n_batch.

The motivation is to clarify the code as it is currently a little
confusing when looking at this for loop in isolation and thinking that
it can process multiple batches.

* add an assert to verify n_eval is not greater than n_batch
tools/completion/completion.cpp