]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
imatrix : offload to GPU support (llama/4957)
authorGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 16:46:30 +0000 (18:46 +0200)
committerGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 19:21:10 +0000 (21:21 +0200)
commitfd102343632f06b3c782275dc92d753ebe1b4ec7
treee22c6c2e5aa7c1d2c27fac52cac607c4190bd85e
parent8fb5c6a409c08ea138f1f2a04470f8f25b03f364
imatrix : offload to GPU support (llama/4957)

* backend : add eval callback

ggml-ci

* backend : group nodes in a single compute when user don't need them

* backend : clean-up the implementation

ggml-ci

* simple : do not perform tensor data copy if not needed

* simple : fix

* imatrix : offload to GPU support

* imatrix : fix ggml_mul_mat_id hanlding

ggml-ci

* ci : add imatrix test

ggml-ci

* ci : rearrange output

ggml-ci
ggml.c
ggml.h