]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
Hexagon Op queue & dispatch optimizations (llama/16820)
authorMax Krasnyansky <redacted>
Wed, 29 Oct 2025 13:29:12 +0000 (06:29 -0700)
committerGeorgi Gerganov <redacted>
Sun, 9 Nov 2025 21:38:03 +0000 (23:38 +0200)
commit4d74160c9a4da02d8eca45f922797b8032fb150d
tree5d47d9b7dffd4664e1c43bc68218a4aeef7ef262
parent6051c704a038c5c15fae8fd6c19ac89614783709
Hexagon Op queue & dispatch optimizations (llama/16820)

* hexagon: remove dspqueue callbacks and do all read processing inplace

* hexagon: there is no need to ref/deref the buffers at this point

We're not going to release the buffers without flushing the session queue.
So there is no need to inc/dec the refcounts for every request.
We also don't need to include those bufs in the response.

* hexagon: bump the thread count in the adb wrapper scripts

We can use more CPU cores now that the dedicated dspqueue polling threads are not used (ie no contention).
Also enable more agressive polling for now since we still map Flash Attention (and a few other kernels) to
the CPU and those dspqueue threads were keeping the CPU cores are higher clock freqs.

* hexagon: add lhez as the second code owner
ggml/src/ggml-hexagon/ggml-hexagon.cpp
ggml/src/ggml-hexagon/htp/main.c