]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commitdiff
bench : update [no ci]
authorGeorgi Gerganov <redacted>
Tue, 30 Sep 2025 18:40:32 +0000 (21:40 +0300)
committerGeorgi Gerganov <redacted>
Tue, 30 Sep 2025 18:40:32 +0000 (21:40 +0300)
scripts/bench-all-gg.txt

index 82bf6aa1cdc6b73e87bb06c0886be8cf4db0d1f2..d1cdaf9a3bc77c3206237bae4e59fae71246259e 100644 (file)
@@ -45,20 +45,20 @@ Running ggml_mul_mat benchmark with 1 threads
 
 |    CPU | Config |         Model |  Th |  FA |    Enc. |    Dec. |    Bch5 |      PP |  Commit |
 |    --- |    --- |           --- | --- | --- |     --- |     --- |     --- |     --- |     --- |
-| M1 Pro |  METAL |          tiny |   1 |   0 |   39.21 |    1.74 |    0.61 |    0.04 | 22c96b4 |
-| M1 Pro |  METAL |          base |   1 |   0 |   70.76 |    2.60 |    0.93 |    0.06 | 22c96b4 |
-| M1 Pro |  METAL |         small |   1 |   0 |  217.28 |    6.42 |    2.14 |    0.17 | 22c96b4 |
-| M1 Pro |  METAL |        medium |   1 |   0 |  596.74 |   14.43 |    4.75 |    0.45 | 22c96b4 |
+| M1 Pro |  METAL |          tiny |   1 |   0 |   32.44 |    1.71 |    0.43 |    0.04 | 8a67c55c |
+| M1 Pro |  METAL |          base |   1 |   0 |   63.54 |    2.62 |    0.71 |    0.06 | 8a67c55c |
+| M1 Pro |  METAL |         small |   1 |   0 |  200.30 |    5.34 |    1.72 |    0.17 | 8a67c55c |
+| M1 Pro |  METAL |        medium |   1 |   0 |  580.06 |   11.71 |    4.18 |    0.45 | 8a67c55c |
 
 
 make -j && ./scripts/bench-all.sh 1 1 1
 
 |    CPU | Config |         Model |  Th |  FA |    Enc. |    Dec. |    Bch5 |      PP |  Commit |
 |    --- |    --- |           --- | --- | --- |     --- |     --- |     --- |     --- |     --- |
-| M1 Pro |  METAL |          tiny |   1 |   1 |   21.98 |    1.66 |    0.29 |    0.03 | a77d11d9 |
-| M1 Pro |  METAL |          base |   1 |   1 |   40.55 |    2.18 |    0.43 |    0.04 | a77d11d9 |
-| M1 Pro |  METAL |         small |   1 |   1 |  229.44 |    4.38 |    0.95 |    0.11 | a77d11d9 |
-| M1 Pro |  METAL |        medium |   1 |   1 |  394.64 |    9.11 |    2.21 |    0.30 | a77d11d9 |
+| M1 Pro |  METAL |          tiny |   1 |   1 |   22.09 |    1.84 |    0.43 |    0.03 | 8a67c55c |
+| M1 Pro |  METAL |          base |   1 |   1 |   40.57 |    2.22 |    0.44 |    0.04 | 8a67c55c |
+| M1 Pro |  METAL |         small |   1 |   1 |  135.15 |    4.23 |    0.95 |    0.12 | 8a67c55c |
+| M1 Pro |  METAL |        medium |   1 |   1 |  395.18 |    9.14 |    2.21 |    0.30 | 8a67c55c |
 
 
 ## M2 Ultra
@@ -218,33 +218,34 @@ make -j && ./scripts/bench-all.sh 1 1 0
 
 |    CPU |  Config |         Model  |  Th |  FA |    Enc. |    Dec. |    Bch5 |      PP |  Commit |
 |    --- |     --- |           ---  | --- | --- |     --- |     --- |     --- |     --- |     --- |
-| M4 Max |   METAL |          tiny  |   1 |   0 |   10.46 |    0.81 |    0.22 |    0.01 | b57b9d3a |
-| M4 Max |   METAL |     tiny-q8_0  |   1 |   0 |   10.64 |    0.79 |    0.23 |    0.01 | b57b9d3a |
-| M4 Max |   METAL |          base  |   1 |   0 |   19.61 |    1.32 |    0.35 |    0.02 | b57b9d3a |
-| M4 Max |   METAL |     base-q8_0  |   1 |   0 |   20.08 |    1.25 |    0.36 |    0.02 | b57b9d3a |
-| M4 Max |   METAL |         small  |   1 |   0 |   62.59 |    2.78 |    0.78 |    0.06 | b57b9d3a |
-| M4 Max |   METAL |    small-q8_0  |   1 |   0 |   64.30 |    2.42 |    0.78 |    0.06 | b57b9d3a |
-| M4 Max |   METAL |        medium  |   1 |   0 |  181.55 |    6.42 |    1.84 |    0.15 | b57b9d3a |
-| M4 Max |   METAL |   medium-q8_0  |   1 |   0 |  187.79 |    5.74 |    1.83 |    0.15 | b57b9d3a |
-| M4 Max |   METAL |      large-v2  |   1 |   0 |  335.93 |   10.56 |    3.03 |    0.26 | b57b9d3a |
-| M4 Max |   METAL | large-v2-q8_0  |   1 |   0 |  350.73 |    8.73 |    2.98 |    0.27 | b57b9d3a |
-| M4 Max |   METAL | large-v3-turbo |   1 |   0 |  301.98 |    1.82 |    0.49 |    0.04 | b57b9d3a |
+| M4 Max |   METAL |          tiny  |   1 |   0 |   10.51 |    0.86 |    0.23 |    0.01 | 47fcd7da |
+| M4 Max |   METAL |     tiny-q8_0  |   1 |   0 |   10.73 |    0.84 |    0.24 |    0.01 | 47fcd7da |
+| M4 Max |   METAL |          base  |   1 |   0 |   19.50 |    1.34 |    0.36 |    0.02 | 47fcd7da |
+| M4 Max |   METAL |     base-q8_0  |   1 |   0 |   20.17 |    1.25 |    0.36 |    0.02 | 47fcd7da |
+| M4 Max |   METAL |         small  |   1 |   0 |   61.91 |    2.77 |    0.78 |    0.06 | 47fcd7da |
+| M4 Max |   METAL |    small-q8_0  |   1 |   0 |   64.17 |    2.43 |    0.78 |    0.06 | 47fcd7da |
+| M4 Max |   METAL |        medium  |   1 |   0 |  181.50 |    6.44 |    1.85 |    0.15 | 47fcd7da |
+| M4 Max |   METAL |   medium-q8_0  |   1 |   0 |  187.71 |    5.80 |    1.84 |    0.15 | 47fcd7da |
+| M4 Max |   METAL |      large-v2  |   1 |   0 |  335.49 |   10.49 |    3.01 |    0.26 | 47fcd7da |
+| M4 Max |   METAL | large-v2-q8_0  |   1 |   0 |  349.89 |    8.65 |    2.97 |    0.27 | 47fcd7da |
+| M4 Max |   METAL | large-v3-turbo |   1 |   0 |  301.34 |    1.83 |    0.49 |    0.04 | 47fcd7da |
+
 
 make -j && ./scripts/bench-all.sh 1 1 1
 
 |    CPU |  Config |         Model  |  Th |  FA |    Enc. |    Dec. |    Bch5 |      PP |  Commit |
 |    --- |     --- |           ---  | --- | --- |     --- |     --- |     --- |     --- |     --- |
-| M4 Max |   METAL |          tiny  |   1 |   1 |    8.27 |    0.73 |    0.16 |    0.01 | a77d11d9 |
-| M4 Max |   METAL |     tiny-q8_0  |   1 |   1 |    8.46 |    0.67 |    0.16 |    0.01 | a77d11d9 |
-| M4 Max |   METAL |          base  |   1 |   1 |   15.43 |    1.11 |    0.26 |    0.02 | a77d11d9 |
-| M4 Max |   METAL |     base-q8_0  |   1 |   1 |   16.02 |    1.04 |    0.27 |    0.02 | a77d11d9 |
-| M4 Max |   METAL |         small  |   1 |   1 |   49.88 |    2.34 |    0.54 |    0.05 | a77d11d9 |
-| M4 Max |   METAL |    small-q8_0  |   1 |   1 |   51.86 |    1.99 |    0.54 |    0.05 | a77d11d9 |
-| M4 Max |   METAL |        medium  |   1 |   1 |  148.17 |    5.45 |    1.27 |    0.12 | a77d11d9 |
-| M4 Max |   METAL |   medium-q8_0  |   1 |   1 |  154.43 |    4.56 |    1.25 |    0.13 | a77d11d9 |
-| M4 Max |   METAL |      large-v2  |   1 |   1 |  283.30 |    8.96 |    2.10 |    0.22 | a77d11d9 |
-| M4 Max |   METAL | large-v2-q8_0  |   1 |   1 |  298.13 |    7.28 |    2.08 |    0.23 | a77d11d9 |
-| M4 Max |   METAL | large-v3-turbo |   1 |   1 |  250.19 |    1.64 |    0.37 |    0.04 | a77d11d9 |
+| M4 Max |   METAL |          tiny  |   1 |   1 |    8.23 |    0.71 |    0.16 |    0.01 | 47fcd7da |
+| M4 Max |   METAL |     tiny-q8_0  |   1 |   1 |    8.47 |    0.67 |    0.16 |    0.01 | 47fcd7da |
+| M4 Max |   METAL |          base  |   1 |   1 |   15.47 |    1.12 |    0.26 |    0.02 | 47fcd7da |
+| M4 Max |   METAL |     base-q8_0  |   1 |   1 |   15.70 |    1.05 |    0.27 |    0.02 | 47fcd7da |
+| M4 Max |   METAL |         small  |   1 |   1 |   49.82 |    2.37 |    0.53 |    0.05 | 47fcd7da |
+| M4 Max |   METAL |    small-q8_0  |   1 |   1 |   51.76 |    1.99 |    0.53 |    0.05 | 47fcd7da |
+| M4 Max |   METAL |        medium  |   1 |   1 |  147.76 |    5.52 |    1.27 |    0.12 | 47fcd7da |
+| M4 Max |   METAL |   medium-q8_0  |   1 |   1 |  153.98 |    4.59 |    1.24 |    0.13 | 47fcd7da |
+| M4 Max |   METAL |      large-v2  |   1 |   1 |  282.89 |    9.06 |    2.11 |    0.22 | 47fcd7da |
+| M4 Max |   METAL | large-v2-q8_0  |   1 |   1 |  296.43 |    7.44 |    2.09 |    0.23 | 47fcd7da |
+| M4 Max |   METAL | large-v3-turbo |   1 |   1 |  249.91 |    1.65 |    0.38 |    0.04 | 47fcd7da |
 
 
 # RTX 5090