]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml-webgpu: improve MTP inference by using mat-vec path for small batches (llama...
authorMasashi Yoshimura <redacted>
Tue, 23 Jun 2026 08:13:55 +0000 (17:13 +0900)
committerGeorgi Gerganov <redacted>
Fri, 26 Jun 2026 13:03:57 +0000 (16:03 +0300)
commit2955e84ec39bb95e1706303dafb39e44d5b6c697
tree06526252cad0b71ce59ea0d036f6a13aef4a8a4e
parent0badff27cb8096ed3543f629bd4a77fe1edba145
ggml-webgpu: improve MTP inference by using mat-vec path for small batches (llama/24811)

* ggml-webgpu: improve small batches decoding

* Add barrier to the NUM_COLS loop in mul-mat-vec
ggml/src/ggml-webgpu/ggml-webgpu-shader-lib.hpp
ggml/src/ggml-webgpu/ggml-webgpu.cpp
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_id_vec.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_vec.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_vec_acc.tmpl
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_vec_q_acc.tmpl
ggml/src/ggml-webgpu/wgsl-shaders/quantize_q8.wgsl