]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
imatrix : offload to GPU support (llama/4957)
authorGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 16:46:30 +0000 (18:46 +0200)
committerGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 18:44:11 +0000 (20:44 +0200)
commit2467de432bad8f0d9fb6e81f7993f3c54f455617
tree5329dddd7afaa92cf2b78bfcb466790df2b8119d
parent85a03e948fde205ff54ef169a7f3a6a5483a7392
imatrix : offload to GPU support (llama/4957)

* backend : add eval callback

ggml-ci

* backend : group nodes in a single compute when user don't need them

* backend : clean-up the implementation

ggml-ci

* simple : do not perform tensor data copy if not needed

* simple : fix

* imatrix : offload to GPU support

* imatrix : fix ggml_mul_mat_id hanlding

ggml-ci

* ci : add imatrix test

ggml-ci

* ci : rearrange output

ggml-ci
include/ggml/ggml.h
src/ggml.c