]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
vulkan: get the first command buffer submitted sooner (llama/10499)
authorJeff Bolz <redacted>
Fri, 29 Nov 2024 06:18:02 +0000 (00:18 -0600)
committerGeorgi Gerganov <redacted>
Sun, 8 Dec 2024 18:14:35 +0000 (20:14 +0200)
commita753a824629a82b926bc89de8fe2b693db87cfc0
tree7cee05184f1acaad5b481aeb3be0b0085c3b3bea
parent276b08d8f0f51ca8a7d2ff43cef880adff7a18c0
vulkan: get the first command buffer submitted sooner (llama/10499)

This is an incremental improvement over #9118 to get work to the GPU a bit
sooner. The first part is to start with a smaller number of nodes before
the first submit, and ramp it up to the current 100 nodes/submit. The
second part is to reduce the dryrun overhead for all the nodes that just
need to request descriptor space.

With these changes I get around 1-2% speedup on RTX 4070 combined with my
old Haswell-era CPU.
ggml/src/ggml-vulkan/ggml-vulkan.cpp