]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml-webgpu: improve flash_attn_vec for quantized KV at long contexts (llama/25956)
authorMasashi Yoshimura <redacted>
Fri, 31 Jul 2026 06:08:40 +0000 (15:08 +0900)
committerGeorgi Gerganov <redacted>
Tue, 4 Aug 2026 10:37:47 +0000 (13:37 +0300)
commitf97417517f46d17f1bc225a8b0c2bac741e21a41
tree928ead37c0dc187ff3ad1adf7e21458e0221e9e0
parent23feefc7c7ca0fd31301ff644e9c4aa091a9e8c7
ggml-webgpu: improve flash_attn_vec for quantized KV at long contexts (llama/25956)

* improve fa of quantized kv cache

* Fix some bugs and some comments.

* fix v type check and some comments

* Fix build error caused by rebasing

* editorconfig checking pass
ggml/src/ggml-webgpu/ggml-webgpu-shader-lib.hpp
ggml/src/ggml-webgpu/ggml-webgpu.cpp
ggml/src/ggml-webgpu/wgsl-shaders/common_decls.tmpl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_quant_staging.tmpl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_tile.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_vec_split.wgsl