]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
ggml : add IQ2 to test-backend-ops + refactoring (#4990)
authorGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 16:54:56 +0000 (18:54 +0200)
committerGitHub <redacted>
Wed, 17 Jan 2024 16:54:56 +0000 (18:54 +0200)
commit38566680cdfe982a495562332c25b9227de9cf8d
tree3936732879d0a3146577745232feadb80e5917c9
parentba69bbc84ced580fe4fdb0713ca2d95634325b7a
ggml : add IQ2 to test-backend-ops + refactoring (#4990)

* ggml : add IQ2 to test-backend-ops + refactoring

ggml-ci

* cuda : update supports_op for IQ2

ggml-ci

* ci : enable LLAMA_CUBLAS=1 for CUDA nodes

ggml-ci

* cuda : fix out-of-bounds-access in `mul_mat_vec_q`

ggml-ci

* tests : avoid creating RNGs for each Q tensor

ggml-ci

* tests : avoid creating RNGs for each tensor

ggml-ci
ci/run.sh
ggml-backend.c
ggml-cuda.cu
ggml-quants.c
ggml-quants.h
ggml.c
ggml.h
llama.cpp
tests/test-backend-ops.cpp