]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
1.5 bit: we can do even better (llama/5999)
authorKawrakow <redacted>
Mon, 11 Mar 2024 15:53:15 +0000 (16:53 +0100)
committerGeorgi Gerganov <redacted>
Fri, 15 Mar 2024 12:01:13 +0000 (14:01 +0200)
commit9dc60fc02df3600ea3166383e903868f8050c1ed
tree2c0523c2f649ec6a937a36dc09e06c16dc24abc0
parentd73a63629e5b15ff1271d34cb3604cd28edea9f2
1.5 bit: we can do even better (llama/5999)

* iq1_s: we can do even better

Spent one of the 4 scale bits on a signs of a 0.125 shift.
I.e., quants are now -1 + delta, delta, 1 + delta, where delta
is +/- 0.125.

CUDA works, same performance as before.
PPL(LLaMA-v2-7B) is now 11.85!

* iq1_s: make scalar and AVX2 work with the new version

* iq1_s: make Neon work with new version.

~10% drop in performance, so will need some more work.

* iq1_s: make Metal work with new version

* iq1_s: very slightly faster dequantize on Metal

* iq1_s: fix dequantize on the CPU

---------

Co-authored-by: Iwan Kawrakow <redacted>
ggml-cuda.cu
ggml-metal.metal
ggml-quants.c