]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
ggml-webgpu: Improve performance of mat-vec and mat-mat for MUL_MAT_ID (#22464)
authorMasashi Yoshimura <redacted>
Thu, 30 Apr 2026 21:19:10 +0000 (06:19 +0900)
committerGitHub <redacted>
Thu, 30 Apr 2026 21:19:10 +0000 (14:19 -0700)
commita95a11e5b834057e684712963f90bbb730f4745c
tree6682fa1bda75b74b165710df05feb5aa0c15a290
parent5cbfb18075c95437e4ac7fb50e3baf88fe137a87
ggml-webgpu: Improve performance of mat-vec and mat-mat for MUL_MAT_ID (#22464)

* Add mat-vec fast path of MUL_MAT_ID.

* Add shared accumulation vec logic and the other types supports.

* Add i-quant mat-mat for MUL_MAT_ID and fix some parts

* Remove n_experts from shader_lib_context.
ggml/src/ggml-webgpu/ggml-webgpu-shader-lib.hpp
ggml/src/ggml-webgpu/ggml-webgpu.cpp
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_id_vec.wgsl [new file with mode: 0644]
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_vec.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_vec_acc.tmpl [new file with mode: 0644]