]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
llama : allow overriding GGUF metadata when loading model (#4092)
authorKerfuffle <redacted>
Tue, 5 Dec 2023 17:19:18 +0000 (10:19 -0700)
committerGitHub <redacted>
Tue, 5 Dec 2023 17:19:18 +0000 (19:19 +0200)
commit5aa365d88fdb8fdd430ef3fc141c7a5fd37c3502
treeb9653918c6b5cd09b5a981927b143d3011456acb
parent52c8bc3cf312e1caf02d37bfb9d9d865cbe33594
llama : allow overriding GGUF metadata when loading model (#4092)

* feat: Allow overriding GGUF metadata when loading model

* Fix the one time GCC is stricter than clang about something

* Step1

* Refactor... basically everything!

* Nuke obsolete GetArrayLen struct

* simplify std::string specialization

* Various cleanups

Add informational output when overrides are applied

Warn user when an override with the wrong type is specified

* Fix broken logic for parsing bool KV overrides
Fix issue where overrides didn't apply when key missing in GGUF metadata
Resolve merge changes

* llama : rearrange model params

* Update new GET_KEY call

Add note that metadata KV overrides aren't reflected in initial metadata KV info dump

---------

Co-authored-by: cebtenzzre <redacted>
Co-authored-by: Georgi Gerganov <redacted>
common/common.cpp
common/common.h
llama.cpp
llama.h