]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
ggml : add IQ2 to test-backend-ops + refactoring (llama/4990)
authorGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 16:54:56 +0000 (18:54 +0200)
committerGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 18:44:11 +0000 (20:44 +0200)
commite055f5f1fcb0c122241612dd69c23ae09213d572
tree405b4262cb24aa37422ed264e36573ed7ee62ea6
parent2467de432bad8f0d9fb6e81f7993f3c54f455617
ggml : add IQ2 to test-backend-ops + refactoring (llama/4990)

* ggml : add IQ2 to test-backend-ops + refactoring

ggml-ci

* cuda : update supports_op for IQ2

ggml-ci

* ci : enable LLAMA_CUBLAS=1 for CUDA nodes

ggml-ci

* cuda : fix out-of-bounds-access in `mul_mat_vec_q`

ggml-ci

* tests : avoid creating RNGs for each Q tensor

ggml-ci

* tests : avoid creating RNGs for each tensor

ggml-ci
include/ggml/ggml.h
src/ggml-backend.c
src/ggml-cuda.cu
src/ggml-quants.c
src/ggml-quants.h
src/ggml.c
tests/test-backend-ops.cpp