]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
metal : add quantized FA support (#10149)
authorGeorgi Gerganov <redacted>
Wed, 6 Nov 2024 08:24:23 +0000 (10:24 +0200)
committerGitHub <redacted>
Wed, 6 Nov 2024 08:24:23 +0000 (10:24 +0200)
commita1eaf6a9600bb1608753420ba886a3b0a208ffc0
tree3b8d377175f865453e42afa94904210fa36056df
parentb8deef0ec0af5febac1d2cfd9119ff330ed0b762
metal : add quantized FA support (#10149)

* metal : add quantized FA (vec) support

ggml-ci

* metal : add quantized FA (non-vec) support

* metal : fix support check

ggml-ci

* metal : clean-up

* metal : clean-up (cont)

* metal : fix shared memory calc + reduce smem + comments

* metal : float-correctness

* metal : minor [no ci]
ggml/src/ggml-metal.m
ggml/src/ggml-metal.metal