]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
server: improve user message detection and create checkpoints at every user message...
authorAldehir Rojas <redacted>
Tue, 23 Jun 2026 05:27:28 +0000 (00:27 -0500)
committerGitHub <redacted>
Tue, 23 Jun 2026 05:27:28 +0000 (08:27 +0300)
commit73618f27a801c0b8614ceaf3547d3c2a99baae14
tree792100c215a64724185a8779386a1d028283abf0
parent23ee8797e11b1f9502f547a9250bfa0f5c36a63f
server: improve user message detection and create checkpoints at every user message (#24176)

* server : improve message span logic

* cont : cast size_t to int32_t in comparisons

* server : create checkpoints before every user msg

* chat : remove \n in gemma4 delimiters

* chat : merge msg delimiter structs into one

* cont : reword comment

* cont : initialize tokens in delimiter

* cont : add server_tokens::get_raw_tokens() for mtmd

* cont : move message finding to server_tokens and skip mtmd tokens

* cont : update cohere2moe parser

* cont : increase min-step to 8192 and always produce a chkpt for last user message
common/chat.cpp
common/chat.h
common/common.h
tests/test-chat.cpp
tools/server/server-common.cpp
tools/server/server-common.h
tools/server/server-context.cpp
tools/server/server-task.h