]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
vulkan: add more num_blocks instantiations in rms_norm (#17701)
authorJeff Bolz <redacted>
Fri, 5 Dec 2025 21:08:56 +0000 (15:08 -0600)
committerGitHub <redacted>
Fri, 5 Dec 2025 21:08:56 +0000 (22:08 +0100)
ggml/src/ggml-vulkan/vulkan-shaders/rms_norm.comp

index 3a47949d5a657fe750c02ba690d1cd50b766efe4..9d6d366542741ce43da1192c6f2de18254db6470 100644 (file)
@@ -131,8 +131,12 @@ void main() {
         rms_norm(num_blocks);
     } else if (num_blocks > 16) {
         rms_norm(32);
-    } else if (num_blocks > 8) {
+    } else if (num_blocks > 12) {
         rms_norm(16);
+    } else if (num_blocks > 10) {
+        rms_norm(12);
+    } else if (num_blocks > 8) {
+        rms_norm(10);
     } else if (num_blocks > 4) {
         rms_norm(8);
     } else if (num_blocks == 4) {