]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
llama: automatically set parameters not set by the user in such a way that maximizes...
authorJohannes Gäßler <redacted>
Mon, 15 Dec 2025 08:24:59 +0000 (09:24 +0100)
committerGeorgi Gerganov <redacted>
Thu, 18 Dec 2025 06:20:56 +0000 (08:20 +0200)
commitaaf3f39b4abaeeb3c60fb0ad565e2d38a032629f
tree172463490b1e1aba931cf8926075b8d8a22c0bb5
parentb5e352a52faf4abca3447673c83824e4c466f2ac
llama: automatically set parameters not set by the user in such a way that maximizes GPU utilization (llama/16653)

* llama: automatically fit args to free memory

llama-fit-params tool

* fix CI

* hints for bug reports, ensure no reallocation

* fix segfault with Vulkan

* add llama-fit-params to CI

* fix CI

* fix CI

* fix CI

* minor adjustments

* fix assignment of 1 dense layer

* fix logger not being reset on model load failure

* remove --n-gpu-layer hint on model load failure

* fix llama-fit-params verbosity

* fix edge case

* fix typo [no ci]
ggml/include/ggml-alloc.h
ggml/include/ggml-backend.h
ggml/include/ggml.h
ggml/src/ggml-alloc.c
ggml/src/ggml-backend.cpp
ggml/src/ggml.c