]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
sycl : port multi-column MMVQ from CUDA backend (llama/21845)
authorMason Milburn <redacted>
Fri, 5 Jun 2026 05:10:31 +0000 (01:10 -0400)
committerGeorgi Gerganov <redacted>
Mon, 8 Jun 2026 11:36:36 +0000 (14:36 +0300)
commit4ecede8c8bb6b4d899a13e27b8b672ad1bc67311
tree0f9a9fab02fc27fb4f07d4cf1b285603f102157b
parent991b5a8b4ab652b0bc282f500a58de565e7aa0bc
sycl : port multi-column MMVQ from CUDA backend (llama/21845)

mmvq:

Port the ncols_dst optimization from ggml-cuda/mmvq.cu to SYCL.
Read weights once per dispatch instead of once per column.
Covers all standard quant types + reorder paths for Q4_0, Q8_0,
Q3_K, Q4_K, Q5_K, Q6_K. IQ types (except IQ4_XS) excluded due to
incompatible vec_dot signatures.

ggml-sycl:

The weight reorder was only bootstrapped on single-token mat-vec
(ne[1] == 1). Speculative / MTP verify issues only multi-column mat-vec,
so it never triggered the reorder and ran on the slower non-reorder
kernel. Bootstrap it on small multi-column batches (ne[1] <= 8) too.
ggml/src/ggml-sycl/ggml-sycl.cpp
ggml/src/ggml-sycl/mmvq.cpp