]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml WebGPU: add support for quantization types (llama/15440)
authorReese Levine <redacted>
Fri, 22 Aug 2025 18:28:03 +0000 (11:28 -0700)
committerGeorgi Gerganov <redacted>
Sat, 20 Sep 2025 10:42:39 +0000 (13:42 +0300)
commitbb5d7e2c3137c43e023e15b93d910ffd448b54e6
tree77e499f4c6e377c491be64e9e6bb5cec7e979493
parentd7b7498e76089c90167dfc5b34b21b491a193e40
ggml WebGPU: add support for quantization types (llama/15440)

* Begin work on set_rows

* Work on set rows

* Add error buffers for reporting unsupported SET_ROWS indices

* Remove extra comments

* Work on templating for different types in shaders

* Work on shader type generation

* Working q4_0 mul_mat and some templating for different types

* Add q4_0_f16 matmul and fix device init

* Add matmul support for basic quantization types

* Add q2_k and q3_k quantization

* Add rest of k-quants

* Get firt i-quant working

* Closer to supporting all i-quants

* Support rest of i-quants

* Cleanup code

* Fix python formatting

* debug

* Bugfix for memset

* Add padding to end of buffers on creation

* Simplify bit-shifting

* Update usage of StringView
ggml/src/ggml-webgpu/CMakeLists.txt
ggml/src/ggml-webgpu/ggml-webgpu.cpp
ggml/src/ggml-webgpu/wgsl-shaders/embed_wgsl.py
ggml/src/ggml-webgpu/wgsl-shaders/memset.wgsl
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat.tmpl.wgsl [new file with mode: 0644]
ggml/src/ggml-webgpu/wgsl-shaders/mul_mat.wgsl [deleted file]