]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
ggml webgpu: Clean up per-thread parameter buffer pool and job submission logic ...
authorNikhil Jain <redacted>
Mon, 2 Mar 2026 18:23:34 +0000 (10:23 -0800)
committerGitHub <redacted>
Mon, 2 Mar 2026 18:23:34 +0000 (10:23 -0800)
commit4d828bd1ab52773ba9570cc008cf209eb4a8b2f5
treec74b35120418dacd61240d5deb61e5bd4b8841f7
parent36a7a6589cf5ea15ae936cd840d4600608eb0e1e
ggml webgpu: Clean up per-thread parameter buffer pool and job submission logic (#19772)

* Allow webgpu_buf_pool to resize if needed, remove inflight_threads, and replace inflight_threads with num_kernels for submission

* Run clang-format

* Keep track of num batched kernels that have not been submitted yet

* Run clang-format

* Increase buf pool max size

* Increase param buf pool init size

* Remove webgpu buf pool resizing

* Merge with master

* Add buffer pool growth

* Move buffer pool growth outside of lock

* Reduce max pool size to 32

* Run clang-format

* Only resize param buf pool
ggml/src/ggml-webgpu/ggml-webgpu.cpp