]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml : add IQ2 to test-backend-ops + refactoring (llama/4990)
authorGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 16:54:56 +0000 (18:54 +0200)
committerGeorgi Gerganov <redacted>
Wed, 17 Jan 2024 19:21:10 +0000 (21:21 +0200)
commit4aea058e5a8a87f9f7ce8ea49fc487c6903807ce
treecd11e4f911aa32b0d96ba81ec6b926ae2d9991df
parentfd102343632f06b3c782275dc92d753ebe1b4ec7
ggml : add IQ2 to test-backend-ops + refactoring (llama/4990)

* ggml : add IQ2 to test-backend-ops + refactoring

ggml-ci

* cuda : update supports_op for IQ2

ggml-ci

* ci : enable LLAMA_CUBLAS=1 for CUDA nodes

ggml-ci

* cuda : fix out-of-bounds-access in `mul_mat_vec_q`

ggml-ci

* tests : avoid creating RNGs for each Q tensor

ggml-ci

* tests : avoid creating RNGs for each tensor

ggml-ci
ggml-backend.c
ggml-cuda.cu
ggml-quants.c
ggml-quants.h
ggml.c
ggml.h