]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
1.5 bit: we can do even better (#5999)
authorKawrakow <redacted>
Mon, 11 Mar 2024 15:53:15 +0000 (16:53 +0100)
committerGitHub <redacted>
Mon, 11 Mar 2024 15:53:15 +0000 (17:53 +0200)
commit44ca159faf4fbe1a7ace13a962845ba7cdfd95ec
treed983c8b474f139f5973d5712886018595dfa2d5d
parent05b06210c954491cf0f12034b0a62bd4d69ce78b
1.5 bit: we can do even better (#5999)

* iq1_s: we can do even better

Spent one of the 4 scale bits on a signs of a 0.125 shift.
I.e., quants are now -1 + delta, delta, 1 + delta, where delta
is +/- 0.125.

CUDA works, same performance as before.
PPL(LLaMA-v2-7B) is now 11.85!

* iq1_s: make scalar and AVX2 work with the new version

* iq1_s: make Neon work with new version.

~10% drop in performance, so will need some more work.

* iq1_s: make Metal work with new version

* iq1_s: very slightly faster dequantize on Metal

* iq1_s: fix dequantize on the CPU

---------

Co-authored-by: Iwan Kawrakow <redacted>
ggml-common.h
ggml-cuda.cu
ggml-metal.metal
ggml-quants.c