]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/log
pkg/ggml/sources/llama.cpp
19 months agocommon : comma should be semicolon (#4137)
kchro3 [Sun, 19 Nov 2023 16:52:57 +0000 (08:52 -0800)]
common : comma should be semicolon (#4137)

19 months agogitignore : tokenize
Georgi Gerganov [Sun, 19 Nov 2023 16:50:49 +0000 (18:50 +0200)]
gitignore : tokenize

19 months agogguf-py : export chat templates (#4125)
slaren [Sun, 19 Nov 2023 10:10:52 +0000 (11:10 +0100)]
gguf-py : export chat templates (#4125)

* gguf-py : export chat templates

* llama.cpp : escape new lines in gguf kv info prints

* gguf-py : bump version

* gguf-py : check chat_template type

* gguf-py : initialize chat_template

19 months agotokenize example: Respect normal add BOS token behavior (#4126)
Kerfuffle [Sat, 18 Nov 2023 21:48:17 +0000 (14:48 -0700)]
tokenize example: Respect normal add BOS token behavior (#4126)

Allow building with Makefile

19 months agoscripts : Remove missed baichuan convert script (#4127)
Galunid [Sat, 18 Nov 2023 20:08:33 +0000 (21:08 +0100)]
scripts : Remove missed baichuan convert script (#4127)

19 months agoClean up ggml-cuda.cu warnings when compiling with clang (for ROCM) (#4124)
Kerfuffle [Sat, 18 Nov 2023 15:11:18 +0000 (08:11 -0700)]
Clean up ggml-cuda.cu warnings when compiling with clang (for ROCM) (#4124)

* ggml-cuda.cu: Clean up warnings when compiling with clang

* ggml-cuda.cu: Move static items into anonymous namespace

* ggml-cuda.cu: Fix use of namespace start macro

* Revert "ggml-cuda.cu: Fix use of namespace start macro"

This reverts commit 26c11490266c096e3e5731e05270a8f73a5b2874.

* Revert "ggml-cuda.cu: Move static items into anonymous namespace"

This reverts commit e29757e0f7535d1ac314300f0324684cc785e06c.

19 months agollama : increase max nodes (#4115)
slaren [Fri, 17 Nov 2023 19:39:11 +0000 (20:39 +0100)]
llama : increase max nodes (#4115)

19 months agobuild : support ppc64le build for make and CMake (#3963)
Roger Meier [Fri, 17 Nov 2023 16:11:23 +0000 (17:11 +0100)]
build : support ppc64le build for make and CMake (#3963)

* build: support ppc64le build for make and CMake

* build: keep __POWER9_VECTOR__ ifdef and extend with __powerpc64__

Co-authored-by: Georgi Gerganov <redacted>
---------

Co-authored-by: Georgi Gerganov <redacted>
19 months agotokenize : fix trailing whitespace
Georgi Gerganov [Fri, 17 Nov 2023 16:01:38 +0000 (18:01 +0200)]
tokenize : fix trailing whitespace

19 months agoexamples : add tokenize (#4039)
zakkor [Fri, 17 Nov 2023 15:36:44 +0000 (17:36 +0200)]
examples : add tokenize (#4039)

19 months agoconvert : use 'model' value if it exists. This allows karpathy/tinyllamas to load...
Don Mahurin [Fri, 17 Nov 2023 15:32:34 +0000 (07:32 -0800)]
convert : use 'model' value if it exists. This allows karpathy/tinyllamas to load (#4089)

Co-authored-by: Don Mahurin <@>
19 months agopy : Falcon HF compatibility (#4104)
John [Fri, 17 Nov 2023 15:24:30 +0000 (16:24 +0100)]
py : Falcon HF compatibility (#4104)

Falcon HF compatibility

19 months agocommon : improve yaml log escaping (#4080)
Jannis Schönleber [Fri, 17 Nov 2023 15:24:07 +0000 (16:24 +0100)]
common : improve yaml log escaping (#4080)

* logging: improve escaping in yaml output

* logging: include review feedback

19 months agollava : fix compilation warning that fread return value is not used (#4069)
Huawei Lin [Fri, 17 Nov 2023 15:22:56 +0000 (10:22 -0500)]
llava : fix compilation warning that fread return value is not used (#4069)

19 months agopy : remove superfluous import statements (#4076)
Jiří Podivín [Fri, 17 Nov 2023 15:20:53 +0000 (16:20 +0100)]
py : remove superfluous import statements (#4076)

Signed-off-by: Jiri Podivin <redacted>
Co-authored-by: Jiri Podivin <redacted>
19 months agotrain : move number of gpu layers argument parsing to common/train.cpp (#4074)
Jiří Podivín [Fri, 17 Nov 2023 15:19:16 +0000 (16:19 +0100)]
train : move number of gpu layers argument parsing to common/train.cpp (#4074)

- introduces help entry for the argument
 - cuts '--gpu-layers' form in order to simplify usage and documentation.

Signed-off-by: Jiri Podivin <redacted>
Co-authored-by: Jiri Podivin <redacted>
19 months agollama : add functions to get the model's metadata (#4013)
slaren [Fri, 17 Nov 2023 15:17:37 +0000 (16:17 +0100)]
llama : add functions to get the model's metadata (#4013)

* llama : add functions to get the model's metadata

* format -> std::to_string

* better documentation

19 months agofinetune : speed-up ggml_compute_forward_out_prod_f32 via BLAS (#4079)
gwjr [Fri, 17 Nov 2023 14:48:19 +0000 (14:48 +0000)]
finetune : speed-up ggml_compute_forward_out_prod_f32 via BLAS (#4079)

* Remove logically superfluous assertions and order by dimension

* Use cblas_sgemm() to implement ggml_compute_forward_out_prod()

* Remove ggml_compute_forward_out_prod_use_blas(), fix compiling errors on cmake/zig, remove trailing whitespace

* Add openBLAS support for sgemm() in compute_forward_out_prod()

19 months agofinetune : zero the loraB initial vectors (#4082)
Andrew Godfrey [Fri, 17 Nov 2023 10:23:11 +0000 (02:23 -0800)]
finetune : zero the loraB initial vectors (#4082)

* finetune : zero the loraB initial vectors

Without this, the first iteration is starting out far from the base model, instead of exactly on it.
Zeroing loraB is what the paper recommends. loralib also zeroes at least one of the init vector pairs
(though it departs from the paper in using a different distribution for the other vector, in some cases).

* tabs to spaces

* Use ggml_set_zero instead of adding a new function

19 months agocuda : get_row_rounding F32 (#4095)
Andrew Godfrey [Fri, 17 Nov 2023 08:01:15 +0000 (00:01 -0800)]
cuda : get_row_rounding F32 (#4095)

* Fix #4017

* Update ggml-cuda.cu

Co-authored-by: Jared Van Bortel <redacted>
* Update ggml-cuda.cu

Co-authored-by: Jared Van Bortel <redacted>
---------

Co-authored-by: Jared Van Bortel <redacted>
19 months agollama : fix data units (#4101)
Georgi Gerganov [Fri, 17 Nov 2023 08:00:15 +0000 (10:00 +0200)]
llama : fix data units (#4101)

* llama : fix data units

ggml-ci

* Revert "llama : fix data units"

This reverts commit f5feac831fe225ed7f3db938d115732a49dccfc4.

* llama : disambiguate data units

ggml-ci

19 months agoRespect tokenizer.ggml.add_bos_token value when tokenizing (#4040)
Kerfuffle [Fri, 17 Nov 2023 02:14:37 +0000 (19:14 -0700)]
Respect tokenizer.ggml.add_bos_token value when tokenizing (#4040)

* gguf-py: gguf-dump: Respect --no-tensor flag in JSON mode.

* Respect add_bos_token GGUF metadata value

* gguf-py: Try to fix SpecialVocab giving up too easily for the Nth time

19 months agogguf : fix potential infinite loops while parsing (#4100)
texmex76 [Thu, 16 Nov 2023 15:01:48 +0000 (16:01 +0100)]
gguf : fix potential infinite loops while parsing (#4100)

Co-authored-by: Bernhard Gstrein <redacted>
19 months agollama : restore prefix space in llama tokenizer (#4081)
Jared Van Bortel [Wed, 15 Nov 2023 16:34:47 +0000 (11:34 -0500)]
llama : restore prefix space in llama tokenizer (#4081)

19 months agoggml-cuda : increase max graph size (#4084)
slaren [Wed, 15 Nov 2023 12:58:13 +0000 (13:58 +0100)]
ggml-cuda : increase max graph size (#4084)

19 months agoFix MacOS Sonoma model quantization (#4052)
Michael Potter [Tue, 14 Nov 2023 17:34:41 +0000 (09:34 -0800)]
Fix MacOS Sonoma model quantization (#4052)

Co-authored-by: Jared Van Bortel <redacted>
Co-authored-by: Georgi Gerganov <redacted>
19 months agostablelm : StableLM support (#3586)
Galunid [Tue, 14 Nov 2023 10:17:12 +0000 (11:17 +0100)]
stablelm : StableLM support (#3586)

* Add support for stablelm-3b-4e1t
* Supports GPU offloading of (n-1) layers

19 months agoconvert.py: also look for plain model.safetensors (#4043)
afrideva [Tue, 14 Nov 2023 01:03:40 +0000 (17:03 -0800)]
convert.py: also look for plain model.safetensors  (#4043)

* add safetensors to convert.py help message

* Check for single-file safetensors model

* Update convert.py "model" option help message

* revert convert.py help message change

19 months agollava : fix regression for square images in #3613 (#4056)
M. Yusuf Sarıgöz [Mon, 13 Nov 2023 15:20:52 +0000 (18:20 +0300)]
llava : fix regression for square images in #3613 (#4056)

19 months agoggml : sync (im2col, GPU conv, 32-bit arm compat) (#4060)
Georgi Gerganov [Mon, 13 Nov 2023 14:55:52 +0000 (16:55 +0200)]
ggml : sync (im2col, GPU conv, 32-bit arm compat) (#4060)

ggml-ci

19 months agoreadme : update hot topics
Georgi Gerganov [Mon, 13 Nov 2023 12:18:08 +0000 (14:18 +0200)]
readme : update hot topics

19 months agosync : ggml (backend v2) (#3912)
Georgi Gerganov [Mon, 13 Nov 2023 12:16:23 +0000 (14:16 +0200)]
sync : ggml (backend v2) (#3912)

* sync : ggml (backend v2) (wip)

* sync : migrate examples and llama.cpp to dynamic graphs (wip)

* sync : update tests + fix max op params to 64

ggml-ci

* sync : ggml-cuda

ggml-ci

* llama : fix save/load state context size

ggml-ci

* sync : try to fix build on tvOS

* sync : pass custom graph sizes in training examples

* sync : update graph copies to new ggml API

* sync : update sync-ggml.sh with new files

* scripts : fix header in sync script

* train : fix context size calculations

* llama : increase inference graph size up to 4096 nodes

* train : allocate grads for backward graphs

* train : allocate grads for gb_tmp

19 months agoAdd ReLU and SQR CUDA ops to (partially) fix Persimmon offloading (#4041)
Kerfuffle [Mon, 13 Nov 2023 08:58:15 +0000 (01:58 -0700)]
Add ReLU and SQR CUDA ops to (partially) fix Persimmon offloading (#4041)

* Add ReLU and SQR CUDA ops to fix Persimmon offloading

* Persimmon loader: More helpful error on CUDA/ROCM when offloading too many layers

19 months agogguf-py: gguf_writer: Use bytearray to build metadata (#4051)
Kerfuffle [Sun, 12 Nov 2023 23:39:37 +0000 (16:39 -0700)]
gguf-py: gguf_writer: Use bytearray to build metadata (#4051)

* gguf-py: gguf_writer: Use BytesIO to build metadata

* Use bytearray instead

Bump gguf-py package version

19 months agoFix some documentation typos/grammar mistakes (#4032)
Richard Kiss [Sun, 12 Nov 2023 06:04:58 +0000 (22:04 -0800)]
Fix some documentation typos/grammar mistakes (#4032)

* typos

* Update examples/parallel/README.md

Co-authored-by: Kerfuffle <redacted>
---------

Co-authored-by: Kerfuffle <redacted>
19 months agoFix gguf-convert-endian script (#4037)
M. Yusuf Sarıgöz [Sat, 11 Nov 2023 15:35:31 +0000 (18:35 +0300)]
Fix gguf-convert-endian script (#4037)

* Fix gguf-convert-endian script

* Bump version and update description

19 months agoserver : fix crash when prompt exceeds context size (#3996)
Alexey Parfenov [Sat, 11 Nov 2023 05:48:21 +0000 (05:48 +0000)]
server : fix crash when prompt exceeds context size (#3996)

19 months agogguf-py: Refactor and allow reading/modifying existing GGUF files (#3981)
Kerfuffle [Sat, 11 Nov 2023 05:04:50 +0000 (22:04 -0700)]
gguf-py: Refactor and allow reading/modifying existing GGUF files (#3981)

* gguf-py: Refactor and add file reading support

* Replay changes from #3871

Credit to @cebtenzzre for that pull

* Various type annotation fixes.

* sort imports with isort (again)

* Fix missing return statement in add_tensor

* style cleanup with flake8

* fix NamedTuple and Enum usage

* Fix an issue with state init in GGUFReader

Move examples to an examples/ directory

Clean up examples

Add an example of modifying keys in a GGUF file

Update documentation with info on examples

Try to support people importing gguf/gguf.py directly

* Damagage is not a word.

* Clean up gguf-py/examples/modify_gguf.py whitespace

Co-authored-by: Jared Van Bortel <redacted>
* Update gguf-py/examples/modify_gguf.py formatting

Co-authored-by: Jared Van Bortel <redacted>
* Update gguf-py/gguf/gguf_reader.py type hint

Co-authored-by: Jared Van Bortel <redacted>
* Make examples executable, formatting changes

* Add more information to GGUFReader and examples comments

* Include a gguf Python package version bump

* Add convert-gguf-endian.py script

* cleanup

* gguf-py : bump minor version

* Reorganize scripts

* Make GGUFReader endian detection less arbitrary

* Add JSON dumping support to gguf-dump.py

Which I kind of regret now

* A few for gguf-dump.py cleanups

* Murder accidental tuple in gguf-py/scripts/gguf-dump.py

Co-authored-by: Jared Van Bortel <redacted>
* cleanup

* constants : remove unneeded type annotations

* fix python 3.8 compat

* Set up gguf- scripts in pyproject.toml

* And include scripts/__init__.py, derp

* convert.py: We can't currently support Q8_0 on big endian.

* gguf-py: SpecialVocab: Always try available sources for special token ids

gguf-py: SpecialVocab: Try to load merges from merges.txt if not in tokenizer.json

gguf-py: SpecialVocab: Add 'add_bos_token' type bools to GGUF metadata
u

* cleanup

* Promote add_X_token to GGUF metadata for BOS and EOS

---------

Co-authored-by: Jared Van Bortel <redacted>
Co-authored-by: Jared Van Bortel <redacted>
19 months agoserver : allow continue edit on completion mode (#3950)
Jhen-Jie Hong [Fri, 10 Nov 2023 22:49:33 +0000 (06:49 +0800)]
server : allow continue edit on completion mode (#3950)

* server : allow continue edit on completion mode

* server : handle abort case in runCompletion

* server : style improvement

19 months agoUnbreak persimmon after #3837 (#4010)
Galunid [Fri, 10 Nov 2023 13:24:54 +0000 (14:24 +0100)]
Unbreak persimmon after #3837 (#4010)

19 months agoscripts: Generalize convert scripts (#3838)
Galunid [Thu, 9 Nov 2023 10:09:29 +0000 (11:09 +0100)]
scripts: Generalize convert scripts (#3838)

* Replace convert-*-hf-to-gguf.py files with convert-hf-to-gguf.py

19 months agoserver : add min_p param (#3877)
Mihai [Thu, 9 Nov 2023 02:00:34 +0000 (04:00 +0200)]
server : add min_p param (#3877)

* Update server.cpp with min_p after it was introduced in https://github.com/ggerganov/llama.cpp/pull/3841

* Use spaces instead of tabs

* Update index.html.hpp after running deps.sh

* Fix test - fix line ending

19 months agoggml-alloc : fix backend assignments of views (#3982)
slaren [Wed, 8 Nov 2023 12:15:14 +0000 (13:15 +0100)]
ggml-alloc : fix backend assignments of views (#3982)

19 months agogguf : track writer state, free unneeded tensors, cleanup (#3871)
Jared Van Bortel [Tue, 7 Nov 2023 17:43:04 +0000 (12:43 -0500)]
gguf : track writer state, free unneeded tensors, cleanup (#3871)

19 months agomake : do not add linker flags when compiling static llava lib (#3977)
Georgi Gerganov [Tue, 7 Nov 2023 17:25:32 +0000 (19:25 +0200)]
make : do not add linker flags when compiling static llava lib (#3977)

19 months agoggml : fix backward rope after YaRN (#3974)
xaedes [Tue, 7 Nov 2023 08:04:51 +0000 (09:04 +0100)]
ggml : fix backward rope after YaRN (#3974)

* fix backward process of rope

rope backward process was broken after YaRN RoPE (#2268) implementation, due to missing changes in backward functions.

the code for the backward process is nearly identically to the forward process:
the only difference is the sign of the sin-values.

to avoid future regressions remove the near-duplicate backward functions and reuse the forward code:

for this a new function argument `bool forward` was added to `ggml_compute_forward_rope_f32` and `ggml_compute_forward_rope_f16`.
the sin-values will be negated when forward is false.

* fix finetune rope call to use correct default attn_factor of 1.0f

* remove unused `ggml_rope_xpos_back`

it is better to have only one `ggml_rope_back` function that accepts all rope parameters, so that `ggml_compute_backward` can propagate all parameters without having to switch between different rope_back variants.

* fix comments explaining the sinus sign in ggml_forward_rope

* add missing function arguments in declaration

* fix function argument type in declaration

19 months agoUse params when loading models in llava-cli (#3976)
Matthew Tejo [Tue, 7 Nov 2023 07:43:59 +0000 (23:43 -0800)]
Use params when loading models in llava-cli (#3976)

llava-cli was loading models with default params and ignoring settings
from the cli. This switches to a generic function to load the params
from the cli options.

19 months agocuda : supports running on CPU for GGML_USE_CUBLAS=ON build (#3946)
Meng Zhang [Tue, 7 Nov 2023 06:49:08 +0000 (22:49 -0800)]
cuda : supports running on CPU for GGML_USE_CUBLAS=ON build (#3946)

* protyping the idea that supports running on CPU for a GGML_USE_CUBLAS=on build

* doc: add comments to ggml_cublas_loaded()

* fix defined(...)

19 months agollava : expose as a shared library for downstream projects (#3613)
Damian Stewart [Mon, 6 Nov 2023 21:36:23 +0000 (22:36 +0100)]
llava : expose as a shared library for downstream projects (#3613)

* wip llava python bindings compatibility

* add external llava API

* add base64 in-prompt image support

* wip refactor image loading

* refactor image load out of llava init

* cleanup

* further cleanup; move llava-cli into its own file and rename

* move base64.hpp into common/

* collapse clip and llava libraries

* move llava into its own subdir

* wip

* fix bug where base64 string was not removed from the prompt

* get libllava to output in the right place

* expose llava methods in libllama.dylib

* cleanup memory usage around clip_image_*

* cleanup and refactor *again*

* update headerdoc

* build with cmake, not tested (WIP)

* Editorconfig

* Editorconfig

* Build with make

* Build with make

* Fix cyclical depts on Windows

* attempt to fix build on Windows

* attempt to fix build on Windows

* Upd TODOs

* attempt to fix build on Windows+CUDA

* Revert changes in cmake

* Fix according to review comments

* Support building as a shared library

* address review comments

---------

Co-authored-by: M. Yusuf Sarıgöz <redacted>
Co-authored-by: Jared Van Bortel <redacted>
20 months agoggml-cuda : fix f16 mul mat (#3961)
slaren [Sun, 5 Nov 2023 17:45:16 +0000 (18:45 +0100)]
ggml-cuda : fix f16 mul mat (#3961)

* ggml-cuda : fix f16 mul mat

ggml-ci

* silence common.cpp warning (bonus)

20 months agoAllow common process_escapes to handle \x sequences (#3928)
Kerfuffle [Sun, 5 Nov 2023 17:06:06 +0000 (10:06 -0700)]
Allow common process_escapes to handle \x sequences (#3928)

* Allow common process_escapes to handle \x sequences

* Fix edge case when second hex digit is NUL

20 months agoserver : fix typo for --alias shortcut from -m to -a (#3958)
Thái Hoàng Tâm [Sun, 5 Nov 2023 16:15:27 +0000 (23:15 +0700)]
server : fix typo for --alias shortcut from -m to -a (#3958)

20 months agocuda : fix disabling device with --tensor-split 1,0 (#3951)
Jared Van Bortel [Sun, 5 Nov 2023 15:08:57 +0000 (10:08 -0500)]
cuda : fix disabling device with --tensor-split 1,0 (#3951)

Co-authored-by: slaren <redacted>
20 months agollama : mark LLM_ARCH_STARCODER as full offload supported (#3945)
Meng Zhang [Sun, 5 Nov 2023 12:40:08 +0000 (04:40 -0800)]
llama : mark LLM_ARCH_STARCODER as full offload supported (#3945)

as done in https://github.com/ggerganov/llama.cpp/pull/3827

20 months agocmake : MSVC instruction detection (fixed up #809) (#3923)
Eve [Sun, 5 Nov 2023 08:03:09 +0000 (08:03 +0000)]
cmake : MSVC instruction detection (fixed up #809) (#3923)

* Add detection code for avx

* Only check hardware when option is ON

* Modify per code review sugguestions

* Build locally will detect CPU

* Fixes CMake style to use lowercase like everywhere else

* cleanup

* fix merge

* linux/gcc version for testing

* msvc combines avx2 and fma into /arch:AVX2 so check for both

* cleanup

* msvc only version

* style

* Update FindSIMD.cmake

---------

Co-authored-by: Howard Su <redacted>
Co-authored-by: Jeremy Dunn <redacted>
20 months agoci : use intel sde when ci cpu doesn't support avx512 (#3949)
Eve [Sun, 5 Nov 2023 07:46:44 +0000 (07:46 +0000)]
ci : use intel sde when ci cpu doesn't support avx512 (#3949)

20 months agocuda : revert CUDA pool stuff (#3944)
slaren [Sun, 5 Nov 2023 07:12:13 +0000 (08:12 +0100)]
cuda : revert CUDA pool stuff (#3944)

* Revert "cuda : add ROCM aliases for CUDA pool stuff (#3918)"

This reverts commit 629f917cd6b96ba1274c49a8aab163b1b189229d.

* Revert "cuda : use CUDA memory pool with async memory allocation/deallocation when available (#3903)"

This reverts commit d6069051de7165a4e06662c89257f5d2905bb156.

ggml-ci

20 months agogguf-py: Support 01.AI Yi models (#3943)
Kerfuffle [Sat, 4 Nov 2023 22:20:34 +0000 (16:20 -0600)]
gguf-py: Support 01.AI Yi models (#3943)

20 months agometal : round up to 16 to fix MTLDebugComputeCommandEncoder assertion (#3938)
Peter Sugihara [Fri, 3 Nov 2023 19:18:18 +0000 (12:18 -0700)]
metal : round up to 16 to fix MTLDebugComputeCommandEncoder assertion (#3938)

20 months agoggml-metal: fix yarn rope (#3937)
Xiao-Yong Jin [Fri, 3 Nov 2023 18:00:31 +0000 (13:00 -0500)]
ggml-metal: fix yarn rope (#3937)

20 months agoggml-cuda : move row numbers to x grid dim in mmv kernels (#3921)
slaren [Fri, 3 Nov 2023 11:13:09 +0000 (12:13 +0100)]
ggml-cuda : move row numbers to x grid dim in mmv kernels (#3921)

20 months agospeculative : change default p_accept to 0.5 + CLI args (#3919)
Georgi Gerganov [Fri, 3 Nov 2023 07:41:17 +0000 (09:41 +0200)]
speculative : change default p_accept to 0.5 + CLI args (#3919)

ggml-ci

20 months agocommon : YAYF (yet another YARN fix) (#3925)
Georgi Gerganov [Fri, 3 Nov 2023 07:24:00 +0000 (09:24 +0200)]
common : YAYF (yet another YARN fix) (#3925)

ggml-ci

20 months agollama : change yarn_ext_factor placeholder to -1 (#3922)
cebtenzzre [Fri, 3 Nov 2023 06:31:58 +0000 (02:31 -0400)]
llama : change yarn_ext_factor placeholder to -1 (#3922)

20 months agocuda : add ROCM aliases for CUDA pool stuff (#3918)
Kerfuffle [Thu, 2 Nov 2023 19:58:22 +0000 (13:58 -0600)]
cuda : add ROCM aliases for CUDA pool stuff (#3918)

20 months agocmake : fix relative path to git submodule index (#3915)
Andrei [Thu, 2 Nov 2023 19:40:31 +0000 (15:40 -0400)]
cmake : fix relative path to git submodule index (#3915)

20 months agoreadme : add notice about #3912
Georgi Gerganov [Thu, 2 Nov 2023 18:44:12 +0000 (20:44 +0200)]
readme : add notice about #3912

20 months agocuda : fix const ptrs warning causing ROCm build issues (#3913)
Georgi Gerganov [Thu, 2 Nov 2023 18:32:11 +0000 (20:32 +0200)]
cuda : fix const ptrs warning causing ROCm build issues (#3913)

20 months agocuda : use CUDA memory pool with async memory allocation/deallocation when available...
Oleksii Maryshchenko [Thu, 2 Nov 2023 17:10:39 +0000 (18:10 +0100)]
cuda : use CUDA memory pool with async memory allocation/deallocation when available (#3903)

* Using cuda memory pools for async alloc/dealloc.

* If cuda device doesnt support memory pool than use old implementation.

* Removed redundant cublasSetStream

---------

Co-authored-by: Oleksii Maryshchenko <redacted>
20 months agogguf : print error for GGUFv1 files (#3908)
Georgi Gerganov [Thu, 2 Nov 2023 14:22:30 +0000 (16:22 +0200)]
gguf : print error for GGUFv1 files (#3908)

20 months agocmake : disable LLAMA_NATIVE by default (#3906)
slaren [Thu, 2 Nov 2023 12:10:33 +0000 (13:10 +0100)]
cmake : disable LLAMA_NATIVE by default (#3906)

20 months agogguf : remove special-case code for GGUFv1 (#3901)
Georgi Gerganov [Thu, 2 Nov 2023 09:20:21 +0000 (11:20 +0200)]
gguf : remove special-case code for GGUFv1 (#3901)

ggml-ci

20 months agollm : prevent from 1-D tensors being GPU split (#3697)
Georgi Gerganov [Thu, 2 Nov 2023 07:54:18 +0000 (09:54 +0200)]
llm : prevent from 1-D tensors being GPU split (#3697)

20 months agobuild : link against build info instead of compiling against it (#3879)
cebtenzzre [Thu, 2 Nov 2023 06:50:16 +0000 (02:50 -0400)]
build : link against build info instead of compiling against it (#3879)

* cmake : fix build when .git does not exist

* cmake : simplify BUILD_INFO target

* cmake : add missing dependencies on BUILD_INFO

* build : link against build info instead of compiling against it

* zig : make build info a .cpp source instead of a header

Co-authored-by: Matheus C. França <redacted>
* cmake : revert change to CMP0115

---------

Co-authored-by: Matheus C. França <redacted>
20 months agocuda : check if this fixes Pascal card regression (#3882)
Georgi Gerganov [Thu, 2 Nov 2023 06:35:10 +0000 (08:35 +0200)]
cuda : check if this fixes Pascal card regression (#3882)

20 months agometal : fix build errors and kernel sig after #2268 (#3898)
Georgi Gerganov [Thu, 2 Nov 2023 06:33:37 +0000 (08:33 +0200)]
metal : fix build errors and kernel sig after #2268 (#3898)

20 months agocuda : fix RoPE after #2268 (#3897)
cebtenzzre [Thu, 2 Nov 2023 05:49:44 +0000 (01:49 -0400)]
cuda : fix RoPE after #2268 (#3897)

20 months agollama : fix llama_context_default_params after #2268 (#3893)
cebtenzzre [Wed, 1 Nov 2023 23:29:14 +0000 (19:29 -0400)]
llama : fix llama_context_default_params after #2268 (#3893)

20 months agoggml-cuda : compute ptrs for cublasGemmBatchedEx in a kernel (#3891)
slaren [Wed, 1 Nov 2023 22:10:09 +0000 (23:10 +0100)]
ggml-cuda : compute ptrs for cublasGemmBatchedEx in a kernel (#3891)

* ggml-cuda : compute ptrs for cublasGemmBatchedEx in a kernel

* fix warnings

20 months agollama : implement YaRN RoPE scaling (#2268)
cebtenzzre [Wed, 1 Nov 2023 22:04:33 +0000 (18:04 -0400)]
llama : implement YaRN RoPE scaling (#2268)

Co-authored-by: cebtenzzre <redacted>
Co-authored-by: Jeffrey Quesnelle <redacted>
20 months agollm : fix llm_build_kqv taking unused tensor (benign, #3837)
Georgi Gerganov [Wed, 1 Nov 2023 21:08:30 +0000 (23:08 +0200)]
llm : fix llm_build_kqv taking unused tensor (benign, #3837)

20 months agollm : fix falcon norm after refactoring (#3837)
Georgi Gerganov [Wed, 1 Nov 2023 21:00:50 +0000 (23:00 +0200)]
llm : fix falcon norm after refactoring (#3837)

20 months agometal : multi-simd softmax (#3710)
Georgi Gerganov [Wed, 1 Nov 2023 19:25:00 +0000 (21:25 +0200)]
metal : multi-simd softmax (#3710)

ggml-ci

20 months agocommon : minor (#3715)
Georgi Gerganov [Wed, 1 Nov 2023 19:15:55 +0000 (21:15 +0200)]
common : minor (#3715)

20 months agollm : add llm_build_context (#3881)
Georgi Gerganov [Wed, 1 Nov 2023 18:11:02 +0000 (20:11 +0200)]
llm : add llm_build_context (#3881)

* llm : add llm_build_context

* llm : deduce norm eps based on type + explict max_alibi_bias, clamp_kqv

* llm : restore the non-graph llm_build_ functional API

ggml-ci

* llm : cleanup + comments

20 months agocommon : allow caller to handle help/argument exceptions (#3715)
bandoti [Wed, 1 Nov 2023 17:42:01 +0000 (14:42 -0300)]
common : allow caller to handle help/argument exceptions (#3715)

* Allow caller to handle help/argument exceptions

* Prepend newline to usage output

* Add new gpt_params_parse_ex function to hide arg-parse impl

* Fix issue blocking success case

* exit instead of returning false

* Update common/common.h

Co-authored-by: Georgi Gerganov <redacted>
* Update common/common.cpp

Co-authored-by: Georgi Gerganov <redacted>
---------

Co-authored-by: Georgi Gerganov <redacted>
20 months agolog : make generating separate log files optional (#3787)
staviq [Wed, 1 Nov 2023 14:18:27 +0000 (15:18 +0100)]
log : make generating separate log files optional (#3787)

* impl --log-new, --log-append

* Update common/log.h

Co-authored-by: cebtenzzre <redacted>
* Update common/log.h

Co-authored-by: cebtenzzre <redacted>
* Apply suggestions from code review

Co-authored-by: cebtenzzre <redacted>
---------

Co-authored-by: cebtenzzre <redacted>
20 months agosampling : null grammar field after reset (#3885)
l3utterfly [Wed, 1 Nov 2023 13:40:43 +0000 (21:40 +0800)]
sampling : null grammar field after reset (#3885)

20 months agoggml : fix UNUSED macro (#3762)
Georgi Gerganov [Wed, 1 Nov 2023 11:50:45 +0000 (13:50 +0200)]
ggml : fix UNUSED macro (#3762)

20 months agofinetune : add -ngl parameter (#3762)
Andrew Godfrey [Wed, 1 Nov 2023 11:49:04 +0000 (04:49 -0700)]
finetune : add -ngl parameter (#3762)

* Add '-ngl' support to finetune.cpp

* Add fprintf in ggml_cuda_op_add

When I tried CUDA offloading during finetuning following the readme, I got an assert here.
This probably isn't an important case because inference later gives a warning saying you should use f16 or f32 instead when using lora

* Add 'finetune.sh', which currently fails when using GPU

"error: operator (): Finetuning on tensors with type 'f16' is not yet supported"

* tweak finetune.sh

* Suppress some warnings in ggml.c

* Add f16 implementation to ggml_compute_forward_add_f16_f32

* Add an f16 case to ggml_add_cast_impl and llama_build_lora_finetune_graphs

* finetune.sh: Edit comments

* Add "add_f16_f32_f32_cuda"

* Tweak an error message

* finetune.sh: Add an optional LLAMA_MODEL_DIR variable

* finetune.sh: Add an optional LLAMA_TRAINING_DIR variable

* train : minor

* tabs to spaces

---------

Co-authored-by: Georgi Gerganov <redacted>
Co-authored-by: cebtenzzre <redacted>
20 months agoscripts : add server-llm.sh (#3868)
Georgi Gerganov [Wed, 1 Nov 2023 09:29:07 +0000 (11:29 +0200)]
scripts : add server-llm.sh (#3868)

* scripts : add deploy-server.sh

* scripts : rename to server-llm.sh

* scripts : working curl pipe

20 months agoserver : re-enable completion and embedded at the same time (#3876)
Adrian Hesketh [Wed, 1 Nov 2023 09:28:28 +0000 (09:28 +0000)]
server : re-enable completion and embedded at the same time (#3876)

20 months agollama : refactor graph build code (#3837)
Georgi Gerganov [Wed, 1 Nov 2023 06:04:02 +0000 (08:04 +0200)]
llama : refactor graph build code (#3837)

* llama : factor out ggml-alloc from graph graph build functions

ggml-ci

* metal : disable kernel load log

* llama : factor out tensor offloading outside the build call (wip)

ggml-ci

* llama : offload rest of the models

ggml-ci

* llama : update offload log messages to print node index

* llama : comments

* llama : support offloading result_norm + comments

* llama : factor graph input into a function

* llama : do tensor offload only with CUDA

* llama : fix res_norm offloading

* llama : try to optimize offloading code

* llama : fix non-CUDA build

* llama : try to fix build

* llama : move refact in correct place + optimize graph input

* llama : refactor tensor offloading as callback

* llama : add layer index to all tensor names

* llama : add functional header

* llama : comment

ggml-ci

* llama : remove obsolete map for layer counting

* llama : add llm_build helper functions (#3848)

* llama : add llm_build_norm helper function

ggml-ci

* llama : add llm_build_ffn helper function (#3849)

ggml-ci

* llama : add llm_build_k_shift helper

ggml-ci

* llama : fix offloading after recent changes

* llama : add llm_build_kv_store helper

ggml-ci

* llama : remove obsolete offload names

* llama : fix llm_build_k_shift to use n_head_kv instead of n_head

* llama : simplify falcon Q, K, V computation

* llama : remove obsolete comments in build graphs

* llama : add llm_build_kqv helper

ggml-ci

* llama : minor

* llama : add LLAMA_OFFLOAD_DEBUG + fix starcoder offloading

* llama : fix input allocation logic

* llama : update offload functions for KQ tensors

* llama : normalize tensor names

ggml-ci

* llama : enable warning about not offloaded tensors

* llama : remove extra ; + deduplicate gate_b logic

* llama : add llm_build_inp_embd helper

20 months agosamplers : Min-P sampler implementation [alternative to Top P/Top K] (#3841)
kalomaze [Tue, 31 Oct 2023 19:44:49 +0000 (14:44 -0500)]
samplers : Min-P sampler implementation [alternative to Top P/Top K] (#3841)

* Introduce the new Min-P sampler by @kalomaze
   The Min-P sampling method was designed as an alternative to Top-P, and aims to ensure a balance of quality and variety. The parameter *p* represents the minimum probability for a token to be considered, relative to the probability of the most likely token.

* Min-P enabled and set to 0.05 default

---------

Co-authored-by: Georgi Gerganov <redacted>
Co-authored-by: cebtenzzre <redacted>
20 months agoflake.nix: fix for rocm 5.7 (#3853)
Tungsten842 [Tue, 31 Oct 2023 17:24:03 +0000 (18:24 +0100)]
flake.nix: fix for rocm 5.7 (#3853)

20 months agoggml : move FP16 <-> FP32 code to ggml-impl.h (#3861)
Georgi Gerganov [Mon, 30 Oct 2023 17:19:15 +0000 (19:19 +0200)]
ggml : move FP16 <-> FP32 code to ggml-impl.h (#3861)

* ggml : move FP16 <-> FP32 stuff to ggml-impl.h

ggml-ci

* tests : fix ARM build

* ggml : explicitly initialize deprecated type traits

* ggml : add math.h to ggml-impl.h

* ggml : remove duplicate static assert macros

* ggml : prefix lookup tables with ggml_

ggml-ci

* ggml-impl : move extern "C" to start of file

20 months agoExtend llama_kv_cache_seq_rm to allow matching any sequence (#3843)
Kerfuffle [Sun, 29 Oct 2023 17:31:40 +0000 (11:31 -0600)]
Extend llama_kv_cache_seq_rm to allow matching any sequence (#3843)

* Extend llama_kv_cache_seq_rm to allow matichng any sequence

* Replace llama_kv_cache_tokens_rm with llama_kv_cache_clear

Use llama_kv_cache_clear for cache clearing

Change calls to llama_kv_cache_tokens_rm that want to delete by position to use llama_kv_cache_seq_rm functionality

20 months agomake : remove unnecessary dependency on build-info.h (#3842)
cebtenzzre [Sun, 29 Oct 2023 16:33:47 +0000 (12:33 -0400)]
make : remove unnecessary dependency on build-info.h (#3842)

20 months agollama : fix kv shift bug (#3835)
Georgi Gerganov [Sun, 29 Oct 2023 16:32:51 +0000 (18:32 +0200)]
llama : fix kv shift bug (#3835)

ggml-ci

20 months agoggml : quantization refactoring (#3833)
Georgi Gerganov [Sun, 29 Oct 2023 16:32:28 +0000 (18:32 +0200)]
ggml : quantization refactoring (#3833)

* ggml : factor all quantization code in ggml-quants

ggml-ci

* ggml-quants : fix Zig and Swift builds + quantize tool

ggml-ci

* quantize : --pure option for disabling k-quant mixtures

---------

Co-authored-by: cebtenzzre <redacted>