]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml : fix quant dot product with odd number of blocks (llama/8549)
authorslaren <redacted>
Fri, 19 Jul 2024 15:17:27 +0000 (17:17 +0200)
committerGeorgi Gerganov <redacted>
Thu, 8 Aug 2024 19:48:46 +0000 (22:48 +0300)
commitbe9a16fd3f13ee85b5f8a81a0a5a294c80021cb1
tree544cad9abd7841ada1a8dbd420b8a8c405f394b4
parentf4d9a95b0f7807aef8105c5032f31ef6e2db96c0
ggml : fix quant dot product with odd number of blocks (llama/8549)

* ggml : fix iq4_nl dot product with odd number of blocks

* ggml : fix odd blocks for ARM_NEON (llama/8556)

* ggml : fix iq4_nl dot product with odd number of blocks

* ggml : fix q4_1

* ggml : fix q5_0

* ggml : fix q5_1

* ggml : fix iq4_nl metal

ggml-ci

* ggml : fix q4_0

* ggml : fix q8_0

ggml-ci

* ggml : remove special Q4_0 code for first 2 blocks

* ggml : fix sumf redefinition

---------

Co-authored-by: slaren <redacted>
---------

Co-authored-by: Georgi Gerganov <redacted>
ggml/src/ggml-metal.m
ggml/src/ggml-metal.metal
ggml/src/ggml-quants.c