]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
clip : support more quantization types (#4846)
authorJohn <redacted>
Wed, 10 Jan 2024 13:37:09 +0000 (14:37 +0100)
committerGitHub <redacted>
Wed, 10 Jan 2024 13:37:09 +0000 (15:37 +0200)
commitd34633d8db6c2e400355de4862cd699154ecc73f
tree9047425d7bb97e369437a2bd28fa0405e27a5533
parent4f56458d34cb13dcbf69aca650e9bf77d5497e6f
clip : support more quantization types (#4846)

Uses ggml functions instead of hardcoded names and adds support to quantize into the modern Q-K variants.
This is just the bare minimum to get k-types working - a more refined choice of types would be needed to get best quality on low quantizations.

I ran a few tests, it doesn't break anything I could notice and a Q6_K ViT works almost as well as Q8_0 but 3 times the inference speed.
examples/llava/clip.cpp