]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
backend : add eval callback (llama/4935)
authorGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 16:39:41 +0000 (18:39 +0200)
committerGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 18:44:11 +0000 (20:44 +0200)
commit85a03e948fde205ff54ef169a7f3a6a5483a7392
tree162770f0bca5cb1700f2b9491c8851cc5d2f1fe7
parent612dabb73fe47d50b65ef36b99fa1ed37c752db0
backend : add eval callback (llama/4935)

* backend : add eval callback

ggml-ci

* backend : group nodes in a single compute when user don't need them

* backend : clean-up the implementation

ggml-ci

* simple : do not perform tensor data copy if not needed

* simple : fix

* simple : no need for ggml_is_contiguous + fix bool parse

* llama : fix callback placement in llama_context_params

* backend : avoid double-ask callback calls

* simple : restore examples, imatrix will serve as a demo
include/ggml/ggml-backend.h
src/ggml-backend.c