]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
server : parallel decoding and multimodal (#3677)
authorGeorgi Gerganov <redacted>
Sun, 22 Oct 2023 19:53:08 +0000 (22:53 +0300)
committerGitHub <redacted>
Sun, 22 Oct 2023 19:53:08 +0000 (22:53 +0300)
commit438c2ca83045a00ef244093d27e9ed41a8cb4ea9
tree28e31cb62c99afe935a8bce3fb45b46e6442e891
parent9e70cc03229df19ca2d28ce23cc817198f897278
server : parallel decoding and multimodal (#3677)

* implementing parallel decoding in server example

* crash fixed

* save dev progress

* refactored sampling function

* completion endpoint working

* multiple client support

* grammar + no stream completion

* cached prompt support

* chat.mjs support cached prompt + some fixes

* server ui now support multiple clients

* unused change reverted

* fixed timings per slot

* add context swap

* add changes to README.md

* llava multimodal integration

* fixed tokens probs

* add multimodal input - alfa

* refactor code + remove unused comments + improved README.md

* fix compilation errors with llvm

* notify the user from server ui that multimodality is unavialable

* some ci fixes

* fix ci make build undefined ref errors

* fix long prompt than ctx proposed in #3639

* fixed premature end due stop word

* context shift fixed

* fix llava implementation

* sync README.md changes

* readme change

* update api like OpenAI

* multimodal support enabled by default

* fix make bui;d errors

* fix multiple clients

* fix zig build

* new sampling API

* latest changes of sampling API

* server : coding-style normalization

* server : coding-style normalization (part 2)

* server : remove beam-search functionality

* server : bug fix in ingest_images

n_tokens is incremented internally by llama_batch_add

* server : use refs + use llama_batch_clear()

* server : snake case

* server : minor sync

* added thread safe pipeline

* server : bach has to be allocated for n_parallel sequences

* server : no need for atomic int - already using mutex

* server : logs + minor code style

* server : fix multibyte handle in partial response (#3706)

* fix image load + view image in chat

* make : silence stb warnings

* clip : link to ggml, not to llama

* server : fix switch fallthrough

* server : fix crash in Debug on macOS (I have no idea why this fixes it!?)

* server : refactor ctx_sampling init + n_ctx + names

* server : bug fix for prompt caching

* Do not save/load image_data to localStorage

* editorconfig : new line in index.html

* server : completion requests remember slot_id

* Update readme to document multimodal in server

* server : minor style

* Update readme to document multimodal in server

* server : hide ctx_sampling->prev behind API (#3696)

* server : apply fix from #3722

* server : fix slot reuse

* server : add comment about changing slot_state to bool

---------

Co-authored-by: FSSRepo <redacted>
Co-authored-by: Damian Stewart <redacted>
Co-authored-by: Steward Garcia <redacted>
Co-authored-by: Jhen-Jie Hong <redacted>
Co-authored-by: M. Yusuf Sarıgöz <redacted>
12 files changed:
.gitignore
Makefile
build.zig
examples/llava/CMakeLists.txt
examples/llava/clip.cpp
examples/server/CMakeLists.txt
examples/server/README.md
examples/server/api_like_OAI.py
examples/server/chat.mjs
examples/server/index.html.hpp
examples/server/public/index.html
examples/server/server.cpp