]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
metal : add quantized FA support (llama/10149)
authorGeorgi Gerganov <redacted>
Wed, 6 Nov 2024 08:24:23 +0000 (10:24 +0200)
committerGeorgi Gerganov <redacted>
Fri, 8 Nov 2024 06:32:11 +0000 (08:32 +0200)
commit0b955e4b6150686b0e26f8659c853bcd67285304
treec43056528e40f7fb8e3b7c0a594a55c2a9d90ece
parent2585ed441c2c7bbd12e5d13ff66b663bfda449db
metal : add quantized FA support (llama/10149)

* metal : add quantized FA (vec) support

ggml-ci

* metal : add quantized FA (non-vec) support

* metal : fix support check

ggml-ci

* metal : clean-up

* metal : clean-up (cont)

* metal : fix shared memory calc + reduce smem + comments

* metal : float-correctness

* metal : minor [no ci]
src/ggml-metal.m
src/ggml-metal.metal