]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
metal : add TQ2_0 support (llama/26980)
authorGeorgi Gerganov <redacted>
Thu, 13 Aug 2026 11:33:53 +0000 (14:33 +0300)
committerGeorgi Gerganov <redacted>
Fri, 14 Aug 2026 19:16:06 +0000 (22:16 +0300)
commit34009e8518a42b3bedf413ff9de4fd7078bd3f69
tree8c9176a05670ae353c0cb4daeb0284e08f6784d2
parent62031fed0b4a2f16ba4fc3bb4567cfca19d89dfa
metal : add TQ2_0 support (llama/26980)

* metal: add TQ2_0 support

Add support for the GGML_TYPE_TQ2_0 (ternary, 2 bits per element) type in
the Metal backend.

Assisted-by: llama.cpp:DeepSeek-v4-Flash-0731
* cont : optimize mul_mv kernel

- float ops over integer ops
- precalculate sums
- hoist coef out of the inner loop
- contiguous y loads

llama.cpp:DeepSeek-v4-Flash-0731
ggml/src/ggml-metal/ggml-metal-device.cpp
ggml/src/ggml-metal/ggml-metal-device.m
ggml/src/ggml-metal/ggml-metal-impl.h
ggml/src/ggml-metal/ggml-metal.metal