]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
sycl : port multi-column MMVQ from CUDA backend (#21845)
authorMason Milburn <redacted>
Fri, 5 Jun 2026 05:10:31 +0000 (01:10 -0400)
committerGitHub <redacted>
Fri, 5 Jun 2026 05:10:31 +0000 (08:10 +0300)
commit7fe2ae45ab644c5b9b5740dff5068442f64fabce
tree19b83d88f381d7e4bd7544962c2f1a02a1120cf8
parent7c158fbb4aec1bdc9c81d6ca0e785139f4826fae
sycl : port multi-column MMVQ from CUDA backend (#21845)

mmvq:

Port the ncols_dst optimization from ggml-cuda/mmvq.cu to SYCL.
Read weights once per dispatch instead of once per column.
Covers all standard quant types + reorder paths for Q4_0, Q8_0,
Q3_K, Q4_K, Q5_K, Q6_K. IQ types (except IQ4_XS) excluded due to
incompatible vec_dot signatures.

ggml-sycl:

The weight reorder was only bootstrapped on single-token mat-vec
(ne[1] == 1). Speculative / MTP verify issues only multi-column mat-vec,
so it never triggered the reorder and ran on the slower non-reorder
kernel. Bootstrap it on small multi-column batches (ne[1] <= 8) too.
ggml/src/ggml-sycl/ggml-sycl.cpp
ggml/src/ggml-sycl/mmvq.cpp