]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml webgpu: Clean up per-thread parameter buffer pool and job submission logic ...
authorNikhil Jain <redacted>
Mon, 2 Mar 2026 18:23:34 +0000 (10:23 -0800)
committerGeorgi Gerganov <redacted>
Mon, 16 Mar 2026 11:10:15 +0000 (13:10 +0200)
commit22034a5f6f6c5687ac015ef48f5e43372f5ed77b
tree08a0fb0aa20b4e2a6bf891f4142b2a8ae15cc337
parentde686fafad1fd6449492091314fd6a9e85eac027
ggml webgpu: Clean up per-thread parameter buffer pool and job submission logic (llama/19772)

* Allow webgpu_buf_pool to resize if needed, remove inflight_threads, and replace inflight_threads with num_kernels for submission

* Run clang-format

* Keep track of num batched kernels that have not been submitted yet

* Run clang-format

* Increase buf pool max size

* Increase param buf pool init size

* Remove webgpu buf pool resizing

* Merge with master

* Add buffer pool growth

* Move buffer pool growth outside of lock

* Reduce max pool size to 32

* Run clang-format

* Only resize param buf pool
ggml/src/ggml-webgpu/ggml-webgpu.cpp