]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
model: tag ffn_latent as MUL_MAT to fix buft probe (#23664)
authorPascal <redacted>
Mon, 25 May 2026 14:05:04 +0000 (16:05 +0200)
committerGitHub <redacted>
Mon, 25 May 2026 14:05:04 +0000 (16:05 +0200)
commit328874d054e0eb44591202a23c209cf02c18e3cb
tree8abc71446c437d9aa20259537f903a434d7371b1
parentc1f1e28d29948892b6aec04b53053a3fd1dc4df3
model: tag ffn_latent as MUL_MAT to fix buft probe (#23664)

ffn_latent_down/up are declared GGML_OP_MUL in LLM_TENSOR_INFOS but
nemotron-h feeds them through ggml_mul_mat. The loader buft probe asks
the backend about the declared op, so it tested an elementwise MUL on a
q8_0 weight. That used to return true unconditionally and the weight
stayed on GPU by luck. Once supports_op told the truth, the probe got a
no and the loader pushed the weight and its matmul to CPU, splitting the
graph. Tagging it MUL_MAT asks the real question, the math is unchanged.

Verified on Nemotron 3 Super 120B Q5_K_M: from 64.9 back to 103.22 t/s.
src/llama-arch.cpp