]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
server : Support multimodal completion and embeddings prompts in JSON format (#15108)
author65a <redacted>
Fri, 22 Aug 2025 08:10:14 +0000 (08:10 +0000)
committerGitHub <redacted>
Fri, 22 Aug 2025 08:10:14 +0000 (10:10 +0200)
commit4afb0a746f22abaa545b3ebdb76a400d7da3a713
tree1993ac774f3d4da6c88403ed524eb4a76d8182fb
parente288693669cf9d0a71e2f2b8bd57305f06340257
server : Support multimodal completion and embeddings prompts in JSON format (#15108)

- Use server_tokens in more places in server and util.cpp
- Convert most functions that used llama_tokens to server_tokens
- Modify input tokenizer to handle JSON objects as subprompts
- Break out MTMD prompt parsing into utility function
- Support JSON objects with multimodal_data arrays for MTMD prompts along with other existing types
- Add capability to model endpoint to indicate if client can send multimodal data
- Add tests.
tools/server/README.md
tools/server/server.cpp
tools/server/tests/unit/test_completion.py
tools/server/tests/unit/test_vision_api.py
tools/server/utils.hpp