]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
backend : add eval callback (#4935)
authorGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 16:39:41 +0000 (18:39 +0200)
committerGitHub <redacted>
Wed, 17 Jan 2024 16:39:41 +0000 (18:39 +0200)
commit44a1a4a41a4c0b03afaa7d9e06bcbc7cf95aa1e6
tree3c0973be05046780e14ca8048b7dbe1372aa5833
parentc918fe8dca8fa1c4602427e0a4b88e20046f6c34
backend : add eval callback (#4935)

* backend : add eval callback

ggml-ci

* backend : group nodes in a single compute when user don't need them

* backend : clean-up the implementation

ggml-ci

* simple : do not perform tensor data copy if not needed

* simple : fix

* simple : no need for ggml_is_contiguous + fix bool parse

* llama : fix callback placement in llama_context_params

* backend : avoid double-ask callback calls

* simple : restore examples, imatrix will serve as a demo
ggml-backend.c
ggml-backend.h
llama.cpp
llama.h