]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
ggml webgpu: Clean up per-thread parameter buffer pool and job submission logic ...
authorNikhil Jain <redacted>
Mon, 2 Mar 2026 18:23:34 +0000 (10:23 -0800)
committerGeorgi Gerganov <redacted>
Sun, 15 Mar 2026 19:50:13 +0000 (21:50 +0200)
commit2e93b2897eeb46c27cd2075f869e8b61f275b421
tree4ef459c192a7a4795c17241991dcbbc259fcce3e
parent9b30b0a0cf6bea1b9149994d47984e76e4aa0bda
ggml webgpu: Clean up per-thread parameter buffer pool and job submission logic (llama/19772)

* Allow webgpu_buf_pool to resize if needed, remove inflight_threads, and replace inflight_threads with num_kernels for submission

* Run clang-format

* Keep track of num batched kernels that have not been submitted yet

* Run clang-format

* Increase buf pool max size

* Increase param buf pool init size

* Remove webgpu buf pool resizing

* Merge with master

* Add buffer pool growth

* Move buffer pool growth outside of lock

* Reduce max pool size to 32

* Run clang-format

* Only resize param buf pool
src/ggml-webgpu/ggml-webgpu.cpp