]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
vulkan: get the first command buffer submitted sooner (llama/10499)
authorJeff Bolz <redacted>
Fri, 29 Nov 2024 06:18:02 +0000 (00:18 -0600)
committerGeorgi Gerganov <redacted>
Tue, 3 Dec 2024 19:05:37 +0000 (21:05 +0200)
commit5b4310a81b5eae4605fc5fb4d63e259e4f337e5c
tree9669d18a5cb48cbae7b8d9aa422be849673b8313
parent3f6510ddea396a8022a78e5f94a6ebd53ac6748a
vulkan: get the first command buffer submitted sooner (llama/10499)

This is an incremental improvement over #9118 to get work to the GPU a bit
sooner. The first part is to start with a smaller number of nodes before
the first submit, and ramp it up to the current 100 nodes/submit. The
second part is to reduce the dryrun overhead for all the nodes that just
need to request descriptor space.

With these changes I get around 1-2% speedup on RTX 4070 combined with my
old Haswell-era CPU.
src/ggml-vulkan/ggml-vulkan.cpp