]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
model: Add support for CogVLM model (#15002)
authorTianyue-Zhao <redacted>
Thu, 30 Oct 2025 11:18:50 +0000 (07:18 -0400)
committerGitHub <redacted>
Thu, 30 Oct 2025 11:18:50 +0000 (12:18 +0100)
commitbacddc049a00786df44e682262f6e298742bfbc3
tree296180f7eb8e0408f0f3d999973d039ed23b086e
parent229bf686287d18f82c44e89888cc662145ecfdb4
model: Add support for CogVLM model (#15002)

* Added GGUF mappings for CogVLM model

* Add tensor mapping for CogVLM visual encoder

* Add CogVLM to conversion script, no vision part yet

* Added CogVLM vision model to conversion script

* Add graph for CogVLM CLIP model

* Add graph for CogVLM

* Fixes for CogVLM. Now compiles.

* Model now runs

* Fixes for cogvlm graph

* Account for graph context change after rebase

* Changes for whitespace

* Changes in convert script according to comments

* Switch CogVLM LLM graph to merged QKV tensor

* Use rope_type variable instead of direct definition

* Change CogVLM CLIP encoder to use SWIGLU

* Switch CogVLM CLIP to use merged QKV

* Apply rebase edits and remove ggml_cont call that is now unnecessary

* clean up

---------

Co-authored-by: Xuan Son Nguyen <redacted>
convert_hf_to_gguf.py
gguf-py/gguf/constants.py
gguf-py/gguf/tensor_mapping.py
src/llama-arch.cpp
src/llama-arch.h
src/llama-model.cpp
src/llama-model.h
tools/mtmd/clip-impl.h
tools/mtmd/clip.cpp