]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
llava : support MiniCPM-V-2.6 (#8967)
authortc-mb <redacted>
Fri, 16 Aug 2024 13:34:41 +0000 (21:34 +0800)
committerGitHub <redacted>
Fri, 16 Aug 2024 13:34:41 +0000 (16:34 +0300)
commitd565bb2fd5a2a58b9924a7a34e77a87c78c52137
treeea50cf906283f585e1c31f709e7c9dd9edbc7a5f
parentee2984bdaf10c14d440ad873a049bcc09b786d9b
llava : support MiniCPM-V-2.6 (#8967)

* init

* rename

* add run android for termux in readme

* add android readme

* add instructions in readme

* change name in readme

* Update README.md

* fixed line

* add result in readme

* random pos_embed

* add positions index

* change for ollama

* change for ollama

* better pos_embed in clip

* support ollama

* updata cmakelist

* updata cmakelist

* rename wrapper

* clear code

* replace and organize code

* add link

* sync master

* fix warnings

* fix warnings

* fix bug in bicubic resize when need resize iamge smaller

* receive review comments and modify

* receive review comments and modify

* put all code into llava dir

* fix quality problem in pr code

* change n_layer

* add space in "-1"

* imitate reshape bug of python code

* fix bug in clip

* fix issues for merging

* fix llama-minicpmv-cli in cmake file

* change pr readme

* fix code review

* remove in line 33 directory in the /cmakelists.txt (not in example, in the main dir

* fix cmakefile

* add warn

* fix KEY_HAS_MINICPMV_PROJ

* remove load_image_size into clip_ctx

* remove the extern "C", MINICPMV_API

* fix uhd code for review comment

* delete minicpmv-wrapper in pr

* remove uhd_image_embed

* Modify 2 notes

* support minicpmv2.6

* modify convert script of minicpmv

* modify convert

* modify convert

* add readme

* add resampler of v2.6

* modify clip

* modify readme

* fix type-check

* fix type-check

* fix type-check

* fix type-check

* modify convert script and readme

* fix convert script and readme

* fix convert

* fix num in convert

* fix type-check

---------

Co-authored-by: Hongji Zhu <redacted>
Co-authored-by: harvestingmoon <redacted>
examples/llava/README-minicpmv2.5.md
examples/llava/README-minicpmv2.6.md [new file with mode: 0644]
examples/llava/clip.cpp
examples/llava/clip.h
examples/llava/llava.cpp
examples/llava/minicpmv-cli.cpp
examples/llava/minicpmv-convert-image-encoder-to-gguf.py
examples/llava/minicpmv-surgery.py