]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
ggml-webgpu: improve flash_attn_vec for quantized KV at long contexts (#25956)
authorMasashi Yoshimura <redacted>
Fri, 31 Jul 2026 06:08:40 +0000 (15:08 +0900)
committerGitHub <redacted>
Fri, 31 Jul 2026 06:08:40 +0000 (09:08 +0300)
commit8f4646a63ee29f2e0ab971b0290b141938769762
treeffc7fd1733d4b9875d003e84196355a68a051920
parent5f55650a78f92aff4d48d671423e888fac0469ff
ggml-webgpu: improve flash_attn_vec for quantized KV at long contexts (#25956)

* improve fa of quantized kv cache

* Fix some bugs and some comments.

* fix v type check and some comments

* Fix build error caused by rebasing

* editorconfig checking pass
ggml/src/ggml-webgpu/ggml-webgpu-shader-lib.hpp
ggml/src/ggml-webgpu/ggml-webgpu.cpp
ggml/src/ggml-webgpu/wgsl-shaders/common_decls.tmpl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_quant_staging.tmpl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_tile.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_vec_split.wgsl