]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
ggml-webgpu: FlashAttention refactor + standardize quantization support (#23834)
authorReese Levine <redacted>
Thu, 4 Jun 2026 05:05:04 +0000 (22:05 -0700)
committerGitHub <redacted>
Thu, 4 Jun 2026 05:05:04 +0000 (08:05 +0300)
commite8c54893f2bbe356188ec4582ca44c233ae45127
tree4890b4fb618b4a0c0312ec1921a7bc6046086a03
parent3c7450cee1335eef6f8091fa0498e875249e5595
ggml-webgpu: FlashAttention refactor + standardize quantization support (#23834)

* Start work on flash_attn refactor

* Refactor

* Split k/v quantization

* Refactor and abstract quantization logic for flash_attn and mul_mat

* Add quantization support to tile path

* formatting

* Move to functions, add a check
ggml/src/ggml-webgpu/CMakeLists.txt
ggml/src/ggml-webgpu/ggml-webgpu-shader-lib.hpp
ggml/src/ggml-webgpu/ggml-webgpu.cpp
ggml/src/ggml-webgpu/pre_wgsl.hpp
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_quant_staging.tmpl [new file with mode: 0644]
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_tile.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/flash_attn_vec_split.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat_decls.tmpl
ggml/src/ggml-webgpu/wgsl-shaders/quant_inner_loops.tmpl [new file with mode: 0644]
tests/test-backend-ops.cpp