]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
server : speculative checkpointing (#19493)
authorSascha Rogmann <redacted>
Sun, 19 Apr 2026 07:24:06 +0000 (09:24 +0200)
committerGitHub <redacted>
Sun, 19 Apr 2026 07:24:06 +0000 (10:24 +0300)
commit455d8e4be85aaae75195435a513a2a5dbef0136c
tree19ae2f22dd9c504c9c224b32b160b170b0fc4c04
parent91fef9536293dcc782594d142bee46648f86fb3c
server : speculative checkpointing (#19493)

* server : speculative decoding using checkpoints

* server : fix draft check with checkpoints

* server : rename spec vars

* server : log levels

* server : refactored spec logic to speculative.cpp

* server : renamed spec checkpoints option

* server : fix spec checkpoints, logging

* speculative : checkpoints with draft model, logging

* server : n_tokens_cur and create_checkpoint in draft

* server : fix server_speculative_callback (slot.id)

* spec : fix ngram-map/begin idx_last_check

* spec : init ckpt (begin() wasn't called)

* chore: update webui build output

* server : restore sampler in spec checkpoint and clear mem

* cont : avoid --spec-use-checkpoints argument

* cont : remove server_prompt_checkpoint_with_size

* spec : rename (leave_draft_state)

* cont : clean-up

* cont : do not ignore partial drafts even if the are short

* cont : spec callback owned by session

* cont : simplify

* cont : avoid empty speculative session

* cont : simplify

* cont : simplify

* cont : enable mtmd speculative decoding

* cont : keep the spec sampler alive

* cont : simplify

* cont : fix nullptr deref + draft checkpoints

* cont : remove common_speculative_accept_response

* cont : remove callback

* cont : simplify

* cont : minor

* cont : simplify

* cont : fix accepted number

---------

Co-authored-by: Georgi Gerganov <redacted>
common/chat.cpp
common/common.h
common/ngram-map.cpp
common/speculative.cpp
common/speculative.h
tools/server/server-common.cpp
tools/server/server-common.h
tools/server/server-context.cpp
tools/server/server-task.cpp
tools/server/server-task.h