]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
vulkan: small mul_mat_vec optimizations (#10665)
authorEve <redacted>
Fri, 13 Dec 2024 08:42:04 +0000 (08:42 +0000)
committerGitHub <redacted>
Fri, 13 Dec 2024 08:42:04 +0000 (09:42 +0100)
commit64ae0655114f84f11a724bc6878c6f8f4a55560b
tree2843e8cc8cbb239107673e84d2b791db5c66756b
parent83ed24a97b500ccdb32b90b94e6f9621ad8db79e
vulkan: small mul_mat_vec optimizations (#10665)

* double the number of rows per workgroup

* Update ggml-vulkan.cpp

* Vulkan: Add VK_EXT_subgroup_size_control support to ensure full subgroups for coopmats

* only increase the number of rows for amd and subgroup size 64

* fix missing NUM_ROWS for mul_mat_vec_iq4_nl_f16_f32, untested

* use subgroup min and max to check for gcn (requires https://github.com/ggerganov/llama.cpp/pull/10721)

* manual merge ggml-vulkan.cpp

* set min and max subgroup size in any case

* Also double the number of rows for Intel GPUs
ggml/src/ggml-vulkan/ggml-vulkan.cpp
ggml/src/ggml-vulkan/vulkan-shaders/dequant_funcs.comp
ggml/src/ggml-vulkan/vulkan-shaders/get_rows_quant.comp
ggml/src/ggml-vulkan/vulkan-shaders/mul_mat_vec.comp