]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
vulkan: small mul_mat_vec optimizations (llama/10665)
authorEve <redacted>
Fri, 13 Dec 2024 08:42:04 +0000 (08:42 +0000)
committerGeorgi Gerganov <redacted>
Tue, 17 Dec 2024 17:23:40 +0000 (19:23 +0200)
commit25312042e8d29c7649ac908984c4d3eade15474f
tree6ccee11ffcb2ff8e1c508b7524384591da931b40
parentaf5be750945f9ebee62b03e36b217a9c31a23d78
vulkan: small mul_mat_vec optimizations (llama/10665)

* double the number of rows per workgroup

* Update ggml-vulkan.cpp

* Vulkan: Add VK_EXT_subgroup_size_control support to ensure full subgroups for coopmats

* only increase the number of rows for amd and subgroup size 64

* fix missing NUM_ROWS for mul_mat_vec_iq4_nl_f16_f32, untested

* use subgroup min and max to check for gcn (requires https://github.com/ggerganov/llama.cpp/pull/10721)

* manual merge ggml-vulkan.cpp

* set min and max subgroup size in any case

* Also double the number of rows for Intel GPUs
src/ggml-vulkan/ggml-vulkan.cpp
src/ggml-vulkan/vulkan-shaders/dequant_funcs.comp
src/ggml-vulkan/vulkan-shaders/get_rows_quant.comp
src/ggml-vulkan/vulkan-shaders/mul_mat_vec.comp