]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
llama : add phi3 128K model support (llama/7225)
authorliuwei-git <redacted>
Tue, 21 May 2024 20:28:32 +0000 (04:28 +0800)
committerGeorgi Gerganov <redacted>
Tue, 28 May 2024 11:41:08 +0000 (14:41 +0300)
commit431f367b4533d5ae6036033a965930d46f6f37a8
treec1b99226e059e129bf4e6662db1c68ad7a99d198
parent4343d83df7760adb2f2fc8aaf8cd9fc4ab505528
llama : add phi3 128K model support (llama/7225)

* add phi3 128k support in convert-hf-to-gguf

* add phi3 128k support in cuda

* address build warnings on llama.cpp

* adjust index value in cuda long rope freq factors

* add long rope support in ggml cpu backend

* make freq factors only depend on ctx size

* remove unused rope scaling type 'su' frin gguf converter

* fix flint warnings on convert-hf-to-gguf.py

* set to the short freq factor when context size is small than trained context size

* add one line of comments

* metal : support rope freq_factors

* ggml : update ggml_rope_ext API to support freq. factors

* backends : add dev messages to support rope freq. factors

* minor : style

* tests : update to use new rope API

* backends : fix pragma semicolons

* minor : cleanup

* llama : move rope factors from KV header to tensors

* llama : remove tmp assert

* cuda : fix compile warning

* convert : read/write n_head_kv

* llama : fix uninitialized tensors

---------

Co-authored-by: Georgi Gerganov <redacted>
include/ggml/ggml.h
src/ggml-cuda/rope.cu
src/ggml-kompute.cpp
src/ggml-metal.m
src/ggml-metal.metal
src/ggml-sycl.cpp
src/ggml-vulkan.cpp
src/ggml.c
tests/test-backend-ops.cpp