]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
quantize: add imatrix and dataset metadata in GGUF (#6658)
authorPierrick Hymbert <redacted>
Fri, 26 Apr 2024 18:06:33 +0000 (20:06 +0200)
committerGitHub <redacted>
Fri, 26 Apr 2024 18:06:33 +0000 (20:06 +0200)
commit0c4d489e29e53589bf13a801fe7c94b7b546d8f6
treefc83fade919050b3a9471dd892d8aef438c39aaf
parent017e6999b5184234370b22a2f868e1be911e8d88
quantize: add imatrix and dataset metadata in GGUF (#6658)

* imatrix: save the dataset file used in the output file

* llama: support kv overrides type string string

* common: factorize KV Overrides parsing between common and server

* quantize: add imatrix n entries and dataset KV metadata
quantize: factorize KV Overrides parsing between common
#6656

* llama: remove kv override str_value initialization as it does not compile on some toolchain

* quantize: add imatrix m_last_call as `quantize.imatrix.chunks_count`

* quantize: add imatrix filename in KV

* llama: add llama_model_kv_override_free

* common: add llama_model_kv_override_free
common: free kv override if used after model loading

* llama: finally move the string KV override value to the stack

* llama : minor

* no need to add a NUL to the std::vector, std::string can be initialized from a pair of iterators.

Co-authored-by: slaren <redacted>
* kv override: ensure string termination

---------

Co-authored-by: Georgi Gerganov <redacted>
Co-authored-by: slaren <redacted>
Makefile
common/common.cpp
common/common.h
examples/imatrix/imatrix.cpp
examples/quantize/CMakeLists.txt
examples/quantize/quantize.cpp
examples/server/server.cpp
llama.cpp
llama.h