]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
vulkan: perf_logger improvements (llama/17672)
authorJeff Bolz <redacted>
Sat, 6 Dec 2025 17:46:46 +0000 (11:46 -0600)
committerGeorgi Gerganov <redacted>
Thu, 11 Dec 2025 13:32:58 +0000 (15:32 +0200)
commit4b880e8e7dd01ad7cdf9dbc76163da8ee1cab1db
tree2e5456249388e5930471f63930cbf3d70e88fc41
parent890fb19d22c6fb2c2114e10cd11d502e77c454b2
vulkan: perf_logger improvements (llama/17672)

* vulkan: perf_logger improvements

- Move perf_logger from device to ctx.
- Add an env var to control the frequency we dump the stats. If you set a very
large value, it just dumps when the ctx is destroyed.
- Add a fusion info string to the tracking, only log one item per fused op.
- Fix MUL_MAT_ID flops calculation.

* fix vector sizes
src/ggml-vulkan/ggml-vulkan.cpp