]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
Ammend to previous commit - forgot to update non-QRDMX branch
authorGeorgi Gerganov <redacted>
Sun, 12 Mar 2023 23:05:24 +0000 (01:05 +0200)
committerGeorgi Gerganov <redacted>
Sun, 12 Mar 2023 23:05:24 +0000 (01:05 +0200)
ggml.c

diff --git a/ggml.c b/ggml.c
index b59bd9318c04c2eb93b255318c8d08cdd90b9d5a..ccbc59cd21fa98beddf34c2c0462e720f2f3696e 100644 (file)
--- a/ggml.c
+++ b/ggml.c
@@ -1371,8 +1371,8 @@ inline static void ggml_vec_dot_q4_0(const int n, float * restrict s, const void
         sum0 += d0_0*d1_0*vaddvq_s32(p_0);
         sum1 += d0_1*d1_1*vaddvq_s32(p_1);
 #else
-        sum0 += d0_0*d1_0*(vgetq_lane_s16(p_0, 0) + vgetq_lane_s16(p_0, 1) + vgetq_lane_s16(p_0, 2) + vgetq_lane_s16(p_0, 3) + vgetq_lane_s16(p_0, 4) + vgetq_lane_s16(p_0, 5) + vgetq_lane_s16(p_0, 6) + vgetq_lane_s16(p_0, 7));
-        sum1 += d0_1*d1_1*(vgetq_lane_s16(p_1, 0) + vgetq_lane_s16(p_1, 1) + vgetq_lane_s16(p_1, 2) + vgetq_lane_s16(p_1, 3) + vgetq_lane_s16(p_1, 4) + vgetq_lane_s16(p_1, 5) + vgetq_lane_s16(p_1, 6) + vgetq_lane_s16(p_1, 7));
+        sum0 += d0_0*d1_0*(vgetq_lane_s32(p_0, 0) + vgetq_lane_s32(p_0, 1) + vgetq_lane_s32(p_0, 2) + vgetq_lane_s32(p_0, 3));
+        sum1 += d0_1*d1_1*(vgetq_lane_s32(p_1, 0) + vgetq_lane_s32(p_1, 1) + vgetq_lane_s32(p_1, 2) + vgetq_lane_s32(p_1, 3));
 #endif
     }