]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
vulkan: optimize decodeFuncB in coopmat2 mul_mat_id shader (llama/18349)
authorJeff Bolz <redacted>
Fri, 26 Dec 2025 17:15:50 +0000 (11:15 -0600)
committerGeorgi Gerganov <redacted>
Wed, 31 Dec 2025 10:39:43 +0000 (12:39 +0200)
commit792ec160b359326c8f80cf2e50ae9b9b0e68fbc6
treed3fe22b2cd739cbc3c0bdde5ddd05dfddd9b8d4e
parent9d351d6ed60e86a9c2a35a6e90a12e324ced046e
vulkan: optimize decodeFuncB in coopmat2 mul_mat_id shader (llama/18349)

* vulkan: Use BK=32 for coopmat2 mul_mat_id

* vulkan: optimize decodeFuncB in coopmat2 mul_mat_id shader

Disable robustness, remove the OOB check in decodeFuncB, and initialize the
row_ids to zero to avoid OOB access.

Don't slice/offset the B matrix to ic * BN, only to adjust the coord back down
to the range [0, BN) in decodeFuncB. Instead just slice with a row offset of
zero and remove the '& (BN - 1)'. This allows the compiler to common some of
the shared memory loads.
src/ggml-vulkan/ggml-vulkan.cpp
src/ggml-vulkan/vulkan-shaders/mul_mm_cm2.comp