]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
backend : add eval callback (llama/4935)
authorGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 16:39:41 +0000 (18:39 +0200)
committerGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 19:21:10 +0000 (21:21 +0200)
commit8fb5c6a409c08ea138f1f2a04470f8f25b03f364
tree7bf45d2d0ecfc0576e2df78977003407885da64d
parent2fe5fbfcc22516ccd40e71d0e389ad5738386f21
backend : add eval callback (llama/4935)

* backend : add eval callback

ggml-ci

* backend : group nodes in a single compute when user don't need them

* backend : clean-up the implementation

ggml-ci

* simple : do not perform tensor data copy if not needed

* simple : fix

* simple : no need for ggml_is_contiguous + fix bool parse

* llama : fix callback placement in llama_context_params

* backend : avoid double-ask callback calls

* simple : restore examples, imatrix will serve as a demo
ggml-backend.c
ggml-backend.h