]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
server : refactor (#5882)
authorGeorgi Gerganov <redacted>
Thu, 7 Mar 2024 09:41:53 +0000 (11:41 +0200)
committerGitHub <redacted>
Thu, 7 Mar 2024 09:41:53 +0000 (11:41 +0200)
commit2002bc96bf2cbf5ab981a17d7e994d817c9801f5
treee96b820fcd091c19ebbbae353c5358d9978cc830
parentceca1aef0738b57951cd12c603c3477e75312dec
server : refactor (#5882)

* server : refactoring (wip)

* server : remove llava/clip objects from build

* server : fix empty prompt handling + all slots idle logic

* server : normalize id vars

* server : code style

* server : simplify model chat template validation

* server : code style

* server : minor

* llama : llama_chat_apply_template support null buf

* server : do not process embedding requests when disabled

* server : reorganize structs and enums + naming fixes

* server : merge oai.hpp in utils.hpp

* server : refactor system prompt update at start

* server : disable cached prompts with self-extend

* server : do not process more than n_batch tokens per iter

* server: tests: embeddings use a real embeddings model (#5908)

* server, tests : bump batch to fit 1 embedding prompt

* server: tests: embeddings fix build type Debug is randomly failing (#5911)

* server: tests: embeddings, use different KV Cache size

* server: tests: embeddings, fixed prompt do not exceed n_batch, increase embedding timeout, reduce number of concurrent embeddings

* server: tests: embeddings, no need to wait for server idle as it can timout

* server: refactor: clean up http code (#5912)

* server : avoid n_available var

ggml-ci

* server: refactor: better http codes

* server : simplify json parsing + add comment about t_last

* server : rename server structs

* server : allow to override FQDN in tests

ggml-ci

* server : add comments

---------

Co-authored-by: Pierrick Hymbert <redacted>
14 files changed:
.github/workflows/server.yml
Makefile
examples/server-embd.py
examples/server/CMakeLists.txt
examples/server/README.md
examples/server/oai.hpp [deleted file]
examples/server/server.cpp
examples/server/tests/features/embeddings.feature [new file with mode: 0644]
examples/server/tests/features/parallel.feature
examples/server/tests/features/server.feature
examples/server/tests/features/steps/steps.py
examples/server/tests/requirements.txt
examples/server/utils.hpp
llama.cpp