]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
Hexagon Op queue & dispatch optimizations (#16820)
authorMax Krasnyansky <redacted>
Wed, 29 Oct 2025 13:29:12 +0000 (06:29 -0700)
committerGitHub <redacted>
Wed, 29 Oct 2025 13:29:12 +0000 (06:29 -0700)
commit3eb2be1ca5f37480aeb16102970d9e65f43347fe
treefaa67a4d555d74dfc751d65aeed4d2f0b333af46
parente41bcce8f0b53032a1fed275cd253e931c041cf6
Hexagon Op queue & dispatch optimizations (#16820)

* hexagon: remove dspqueue callbacks and do all read processing inplace

* hexagon: there is no need to ref/deref the buffers at this point

We're not going to release the buffers without flushing the session queue.
So there is no need to inc/dec the refcounts for every request.
We also don't need to include those bufs in the response.

* hexagon: bump the thread count in the adb wrapper scripts

We can use more CPU cores now that the dedicated dspqueue polling threads are not used (ie no contention).
Also enable more agressive polling for now since we still map Flash Attention (and a few other kernels) to
the CPU and those dspqueue threads were keeping the CPU cores are higher clock freqs.

* hexagon: add lhez as the second code owner
CODEOWNERS
ggml/src/ggml-hexagon/ggml-hexagon.cpp
ggml/src/ggml-hexagon/htp/main.c
scripts/snapdragon/adb/run-bench.sh
scripts/snapdragon/adb/run-cli.sh