]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
server + ui: ping silent SSE streams every 1s and kick only after 3s so slow prefill...
authorPascal <redacted>
Fri, 3 Jul 2026 10:47:04 +0000 (12:47 +0200)
committerGitHub <redacted>
Fri, 3 Jul 2026 10:47:04 +0000 (12:47 +0200)
commitb5315e16e0c3d19707d4a3e3a9f727f1141d2282
tree4ac9a695284838cd922faf4dc6f61534f84f468a
parent94875285e47516da4e1c71e7bca5ba65b82bbe59
server + ui: ping silent SSE streams every 1s and kick only after 3s so slow prefill never drops healthy connections (#25241)

* server + ui: ping silent SSE streams every 1s and kick only after 3s so slow prefill never drops healthy connections

* server + ui: sse_ping_interval becomes a per-request body field

Address review from ngxson: the global default returns to 30 so API
clients see no behavior change, and the WebUI sends sse_ping_interval: 1
in the request body since it owns the 3s visibility-kick contract and
declares the cadence it needs. Positive values keep the existing > 0
gate, -1 keeps its disabled semantics.

* server: move sse_ping_interval into the request schema

Address review from ngxson: the field is now a typed field_num with
hard limits (-1, INT32_MAX) bound to task_params, seeded from the CLI
default alongside the other inherited parameters. The raw json_value
read and its redundant comment are gone, and schema evaluation brings
type and range validation for free.
tools/server/README.md
tools/server/server-context.cpp
tools/server/server-schema.cpp
tools/server/server-task.h
tools/ui/src/lib/constants/stream.ts
tools/ui/src/lib/services/chat.service.ts
tools/ui/src/lib/types/api.d.ts