]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
llama : add OpenELM support (#7359)
authorIcecream95 <redacted>
Thu, 4 Jul 2024 17:14:21 +0000 (05:14 +1200)
committerGitHub <redacted>
Thu, 4 Jul 2024 17:14:21 +0000 (20:14 +0300)
commitd7fd29fff16456ce9c3a23fd2d09a66256b05aff
tree4aa76faed92d2b7bcd1d1efffe5f3487f00f9ec1
parent6f63d646c1a06a6e09f721009a2676864ae04e31
llama : add OpenELM support (#7359)

* Initial OpenELM support (270M only so far)

* Fill out missing entries in llama_model_type_name

* fixup! Initial OpenELM support (270M only so far)

Fix formatting

* llama : support all OpenELM models

* llama : add variable GQA and variable FFN sizes

Some metadata keys can now also be arrays to support setting
their value per-layer for models like OpenELM.

* llama : minor spacing changes

Co-authored-by: Georgi Gerganov <redacted>
* llama : use std::array for per-layer hparams

* llama : fix save/load state

* llama : do not print hparams for vocab-only models

* llama : handle n_head == 0

* llama : use const ref for print_f and fix division by zero

* llama : fix t5 uses of n_head and n_ff

* llama : minor comment

---------

Co-authored-by: Francis Couture-Harpin <redacted>
Co-authored-by: Georgi Gerganov <redacted>
convert_hf_to_gguf.py
gguf-py/gguf/constants.py
gguf-py/gguf/gguf_writer.py
gguf-py/gguf/tensor_mapping.py
src/llama.cpp