]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
Q6_K AVX improvements (llama/10118)
authorEve <redacted>
Mon, 4 Nov 2024 22:06:31 +0000 (22:06 +0000)
committerGeorgi Gerganov <redacted>
Fri, 8 Nov 2024 06:32:11 +0000 (08:32 +0200)
commitd71b99cab20d67440cf3a8b9aad1f1b2a6993b34
treec7009fdf004741ecf7ed91dec39d54911e41062e
parent89952d649e0c5cabbb9ff8c4906f5a843a789fb2
Q6_K AVX improvements (llama/10118)

* q6_k instruction reordering attempt

* better subtract method

* should be theoretically faster

small improvement with shuffle lut, likely because all loads are already done at that stage

* optimize bit fiddling

* handle -32 offset separately. bsums exists for a reason!

* use shift

* Update ggml-quants.c

* have to update ci macos version to 13 as 12 doesnt work now. 13 is still x86
src/ggml-quants.c