]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
ggml : add ggml_row_size() (fixes llama out of space) (#4461)
authorLostRuins <redacted>
Thu, 14 Dec 2023 12:13:33 +0000 (20:13 +0800)
committerGitHub <redacted>
Thu, 14 Dec 2023 12:13:33 +0000 (14:13 +0200)
commit20a68a7030ee06e8eb7eb8e24ae4ac52dc17803f
tree3c84f1f362b064cdbbc2ec3044e47a38c9e44225
parent55e87c3749cb4985c3b316984d40e00e4df4a5d0
ggml : add ggml_row_size() (fixes llama out of space) (#4461)

* Fixes "Not enough space in the context's memory pool" encountered on certain models, which seems to be caused by some imprecision related to the automatic casting of floating point values

* do not cast to size_t, instead just use doubles

* ggml : add ggml_row_size(), deprecate ggml_type_sizef()

* ggml : fix row size compute to avoid overflows

* tests : fix sizey -> sizez

---------

Co-authored-by: Georgi Gerganov <redacted>
examples/benchmark/benchmark-matmult.cpp
ggml.c
ggml.h
llama.cpp