]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
Q6_K AVX improvements (llama/10118)
authorEve <redacted>
Mon, 4 Nov 2024 22:06:31 +0000 (22:06 +0000)
committerGeorgi Gerganov <redacted>
Fri, 15 Nov 2024 13:21:04 +0000 (15:21 +0200)
commit8c9044bef08e9b62341b0f40998d16476afa6f21
tree47b6b17e9bf8c12dc52d1aa803d069953bc3fffa
parent5f8e928194e2d968cc42fed4a0a2a1341f337a0d
Q6_K AVX improvements (llama/10118)

* q6_k instruction reordering attempt

* better subtract method

* should be theoretically faster

small improvement with shuffle lut, likely because all loads are already done at that stage

* optimize bit fiddling

* handle -32 offset separately. bsums exists for a reason!

* use shift

* Update ggml-quants.c

* have to update ci macos version to 13 as 12 doesnt work now. 13 is still x86
ggml/src/ggml-quants.c