]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml-webgpu: FlashAttention refactor + standardize quantization support (llama/23834)
authorReese Levine <redacted>
Thu, 4 Jun 2026 05:05:04 +0000 (22:05 -0700)
committerGeorgi Gerganov <redacted>
Mon, 8 Jun 2026 11:36:36 +0000 (14:36 +0300)
commite9dbd0c18a1904b84c2b75b8bff81ff6ecb6c886
tree78e55cdd0442dbdcb09c5b5c6553f5eb8ad68ff0
parenta1a31868870f0900940d27b5c4d426a9938731d4
ggml-webgpu: FlashAttention refactor + standardize quantization support (llama/23834)

* Start work on flash_attn refactor

* Refactor

* Split k/v quantization

* Refactor and abstract quantization logic for flash_attn and mul_mat

* Add quantization support to tile path

* formatting

* Move to functions, add a check
ggml/src/ggml-webgpu/CMakeLists.txt
ggml/src/ggml-webgpu/ggml-webgpu-shader-lib.hpp
ggml/src/ggml-webgpu/ggml-webgpu.cpp
ggml/src/ggml-webgpu/pre_wgsl.hpp
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_quant_staging.tmpl [new file with mode: 0644]
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_tile.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_vec_split.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_decls.tmpl
ggml/src/ggml-webgpu/wgsl-shaders/quant_inner_loops.tmpl [new file with mode: 0644]