]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml-webgpu: Improve performance of mat-vec and mat-mat for MUL_MAT_ID (llama/22464)
authorMasashi Yoshimura <redacted>
Thu, 30 Apr 2026 21:19:10 +0000 (06:19 +0900)
committerGeorgi Gerganov <redacted>
Fri, 1 May 2026 10:07:35 +0000 (13:07 +0300)
commitb34a9f3d83e8443835ad42778885d3b5ec8b825a
tree3963e9c0bec680ab7eebb93cb6fcb8e83efcd4a5
parent0c7c3ba570cb0b6f03da762d53ba211022cfb89a
ggml-webgpu: Improve performance of mat-vec and mat-mat for MUL_MAT_ID (llama/22464)

* Add mat-vec fast path of MUL_MAT_ID.

* Add shared accumulation vec logic and the other types supports.

* Add i-quant mat-mat for MUL_MAT_ID and fix some parts

* Remove n_experts from shader_lib_context.
ggml/src/ggml-webgpu/ggml-webgpu-shader-lib.hpp
ggml/src/ggml-webgpu/ggml-webgpu.cpp
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_id_vec.wgsl [new file with mode: 0644]
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_vec.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_vec_acc.tmpl [new file with mode: 0644]