]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
llama : save and restore kv cache for single seq id (#6341)
authorJan Boon <redacted>
Mon, 8 Apr 2024 12:43:30 +0000 (20:43 +0800)
committerGitHub <redacted>
Mon, 8 Apr 2024 12:43:30 +0000 (15:43 +0300)
commitbeea6e1b16e783a0886e78dec01002a8c00db24d
treea7365b1e93145b78a8b4be72df959239aa8c0f0d
parent87fb5b4234d4b9c56ac94cf7aa229c8fd7defdb0
llama : save and restore kv cache for single seq id (#6341)

* llama : save and restore kv cache for single seq id

* remove trailing whitespace

* respond error in case there's no space in the kv cache

* add kv seq save restore to test case

* add --slot-save-path arg to enable save restore and restrict save location

* Returning 0 for some cases, instead of asserting.

* cleanup error cases

* rename sequence state functions

* rename state get set functions

* add previous function names back in with DEPRECATED notice

* update doc

* adjust endpoints to preferred style

* fix restoring zero cell count

* handle seq rm return value

* unused param

* keep in the size check

* fix return types

* add server test case for slot save restore

* cleanup

* add cake

* cleanup style

* add special

* removing a whole sequence never fails

* move sequence state file functionality from server to llama to match session api and add version tags

* catch exceptions on save as well

* error log messages

* check types for stricter restore

* update server doc

* readme : update API changes date

* strict filename validation

* move include, reject bom as well

* also reject empty filename

* reject whitespace and trailing dot

---------

Co-authored-by: Martin Evans <redacted>
Co-authored-by: Georgi Gerganov <redacted>
README.md
common/common.cpp
common/common.h
examples/main/main.cpp
examples/save-load-state/save-load-state.cpp
examples/server/README.md
examples/server/server.cpp
examples/server/tests/features/slotsave.feature [new file with mode: 0644]
examples/server/tests/features/steps/steps.py
llama.cpp
llama.h