]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
tests: add performance test for mul mat id (#15543)
authorEve <redacted>
Tue, 26 Aug 2025 15:42:49 +0000 (15:42 +0000)
committerGitHub <redacted>
Tue, 26 Aug 2025 15:42:49 +0000 (15:42 +0000)
tests/test-backend-ops.cpp

index 4b4299d49df610df80b1b07624b15f9d77b50c79..c84023e05e984cc3aa8f27168769cc8357b98e45 100644 (file)
@@ -6400,6 +6400,24 @@ static std::vector<std::unique_ptr<test_case>> make_test_cases_perf() {
         }
     }
 
+    // qwen3-30b-a3b
+    for (int bs : {1, 4, 8, 512}) {
+        for (ggml_type type_a : {GGML_TYPE_F32, GGML_TYPE_F16, GGML_TYPE_Q4_0, GGML_TYPE_Q8_0, GGML_TYPE_Q4_K, GGML_TYPE_Q6_K, GGML_TYPE_IQ2_XS}) {
+            for (ggml_type type_b : {GGML_TYPE_F32}) {
+                test_cases.emplace_back(new test_mul_mat_id(type_a, type_b, 128, 8, false, 768, bs, 2048, 1));
+            }
+        }
+    }
+
+    // gpt-oss-20b
+    for (int bs : {1, 4, 8, 512}) {
+        for (ggml_type type_a : {GGML_TYPE_MXFP4}) {
+            for (ggml_type type_b : {GGML_TYPE_F32}) {
+                test_cases.emplace_back(new test_mul_mat_id(type_a, type_b, 32, 4, false, 2880, bs, 2880, 1));
+            }
+        }
+    }
+
     for (int K : {3, 5}) {
         for (int IC : {256, 2560}) {
             for (int IW_IH : {32, 64, 256}) {