]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
metal : add quantized FA support (llama/10149)
authorGeorgi Gerganov <redacted>
Wed, 6 Nov 2024 08:24:23 +0000 (10:24 +0200)
committerGeorgi Gerganov <redacted>
Fri, 15 Nov 2024 13:21:04 +0000 (15:21 +0200)
commit915bcd2c63189485e2d93c87d1060871d9f43edb
tree417ff09b9080e4405981b3205d9cfe76237b0dba
parentf69c8b6f1b69a9a217477aa57f2e4101ee04aab1
metal : add quantized FA support (llama/10149)

* metal : add quantized FA (vec) support

ggml-ci

* metal : add quantized FA (non-vec) support

* metal : fix support check

ggml-ci

* metal : clean-up

* metal : clean-up (cont)

* metal : fix shared memory calc + reduce smem + comments

* metal : float-correctness

* metal : minor [no ci]
ggml/src/ggml-metal.m
ggml/src/ggml-metal.metal