]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
ggml : SOTA 2-bit quants (add IQ2_XS) (llama/4856)
authorKawrakow <redacted>
Thu, 11 Jan 2024 19:39:39 +0000 (20:39 +0100)
committerGeorgi Gerganov <redacted>
Thu, 11 Jan 2024 19:45:43 +0000 (21:45 +0200)
commit83c64f49fb0c3aa4cf2d5bc706ad51e3f8f319ee
treefae4a210185a2b3785061d14b41a3921e93a051a
parent5b20e86edcf16005cb2958ae2a384d02b537dd45
ggml : SOTA 2-bit quants (add IQ2_XS) (llama/4856)

* iq2_xs: basics

* iq2_xs: this should have been in the basics

* iq2_xs: CUDA and scalar CPU works

* iq2_xs: WIP Metal

* iq2_xs: Metal now works

* iq2_xs: working, but dog slow, ARM_NEON dot product

* iq2_xs: better ARM_NEON dot product

We are now at 19.5 t/s for TG-128 and 61 t/s for PP-512 when
running on the CPU.

* iq2_xs: AVX2 dot product - 19.5 t/s

* iq2_xs: faster AVX2 dit product

21.4 t/s for TG-128, 59.2 t/s for PP-512.
The latter is 2x compared to the previous version.

* iq2_xs: had forgotten to delete iq2-data.h

* Add llama enum for IQ2_XS

---------

Co-authored-by: Iwan Kawrakow <redacted>
include/ggml/ggml.h
src/ggml-cuda.cu
src/ggml-metal.m
src/ggml-metal.metal
src/ggml-quants.c
src/ggml-quants.h
src/ggml.c
tests/test-quantize-fns.cpp