]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
llama : MTP clean-up (#23269)
authorGeorgi Gerganov <redacted>
Tue, 19 May 2026 12:32:58 +0000 (15:32 +0300)
committerGitHub <redacted>
Tue, 19 May 2026 12:32:58 +0000 (15:32 +0300)
commitd14ce3dab4de197adec5166faa54ac5db8262f26
treeaac686b8a71b337495658e608b9a012188bfa571
parent6db130445d29b243ee2171efb8cd61b84a1c5322
llama : MTP clean-up (#23269)

* llama : disable equal splits for recurrent memory with partial rollback

* spec : re-enable p-min with MTP drafts

* spec : re-enable ngram spec in combination with RS rollback

* spec : fix ngram-map-* params

* spec : fix acceptance logic in combined ngram + draft configs

* graph : fix reuse for combined `token` + `embd` batches

* spec : log parameters for each speculative implementation

- add LOG_INF in each constructor with implementation type and parameters
- extract device string logic into common_speculative_get_devices_str()
- move 'adding speculative implementation' log from init into constructors

Assisted-by: llama.cpp:local pi
* spec : extend --spec-default with ngram-map-k4v

Assisted-by: llama.cpp:local pi
* minor : fix n_embd log

* args : update draft.n_max == 3 + regen docs

* spec : relax ngram-mod rejection thold to 0.25 @ 5 low

* logs : improve

* docs : update speculative decoding CLI argument documentation

- Add missing draft model CPU scheduling and tensor override parameters
- Update --spec-type to include all available types (excluding draft-eagle3 WIP)
- Fix default values to match implementation (n_max=3, n_min=0, p_min=0.0)
- Remove deprecated options (spec-draft-ctx-size, spec-draft-replace)
- Add environment variables for new parameters

Assisted-by: llama.cpp:local pi
* arg : step-back on adding k4v to the default spec config

* cont : fix name
15 files changed:
common/arg.cpp
common/common.cpp
common/common.h
common/ngram-map.cpp
common/speculative.cpp
docs/speculative.md
src/llama-graph.h
src/llama-memory-hybrid-iswa.cpp
src/llama-memory-hybrid.cpp
src/llama-memory-recurrent.cpp
src/llama-memory-recurrent.h
src/models/delta-net-base.cpp
src/models/models.h
tools/cli/README.md
tools/server/README.md