]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
models : kda chunk size = 16 (#19827)
authorymcki <redacted>
Thu, 5 Mar 2026 15:01:23 +0000 (23:01 +0800)
committerGitHub <redacted>
Thu, 5 Mar 2026 15:01:23 +0000 (17:01 +0200)
commita0ed91a442ea6b013bd42ebc3887a81792eaefa1
tree280f59f26799b5f0832e04ea15a486750b1d33d2
parent2cd20b72ed3565ac6935911ca0d9b5d73ae70d0d
models : kda chunk size = 16 (#19827)

* models : add llm_build_delta_net_base

* cont : keep qwen35 and qwen35moe graphs intact

* cont : add comments [no ci]

* add kimi linear to delta-net-base

* removed unnecessary ggml_cont from g_exp_t

* removed ggml_cont from g_diff_exp_t. moved ggml_cont for o to kimi-linear.cpp

* removed unnecessary diag mask

* cont : simplify

* cont : avoid graph splits

* scale q after mul instead of beginning

* scale q after mul instead of beginning

* identical ppl

* cont : fix scale and decay mask

* minor : remove TODO

* block implementation for kda

* remove space at the end of line 101

* concat+pad

* pad+binary row concat

* chunk size 16 for kda

* removed minor differences to master

---------

Co-authored-by: Georgi Gerganov <redacted>
src/models/delta-net-base.cpp