]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
server: reset counter related to kill-switch on client error (#20513)
authorSoftwareRenderer <redacted>
Fri, 13 Mar 2026 17:58:09 +0000 (13:58 -0400)
committerGitHub <redacted>
Fri, 13 Mar 2026 17:58:09 +0000 (19:58 +0200)
commitd7ba99c4850bd687621f13329490dc28f28f17c9
tree66c41c8f14f1cb3bfa29870cda99bc3f81feb4e8
parentfbaa95bc29b9005586b76ab3d74f485eec05f282
server: reset counter related to kill-switch on client error (#20513)

* server: reset kill-switch on client error

This avoids triggering a server kill switch.

If the client sends a request that exceeds the configured context size, an appropriate HTTP 400 response is provided and no tokens are generated.

However since no tokens are generated, update_slots() increments n_empty_consecutive. If the client sends 3 such messages in a row, the server terminates.

* moved counter reset as per recommendation

* cont : minor

---------

Co-authored-by: Georgi Gerganov <redacted>
tools/server/server-context.cpp