]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
metal : optimize FA vec for large sequences and BS <= 8 (llama/15566)
authorGeorgi Gerganov <redacted>
Tue, 26 Aug 2025 11:22:14 +0000 (14:22 +0300)
committerGeorgi Gerganov <redacted>
Fri, 5 Sep 2025 09:54:05 +0000 (12:54 +0300)
commit5179375143ea968ca2a981653adef8d9236724dc
treed621baf3479d570aa53679061abbd0834c196616
parent9c38cee6d0f2933a14b2664f2642908046ef3a18
metal : optimize FA vec for large sequences and BS <= 8 (llama/15566)

* metal : optmize FA vec for large heads and sequences

* metal : adjust small-batch mul mv kernels

ggml-ci

* batched-bench : fix total speed computation

ggml-ci

* cont : add comments

ggml-ci
src/ggml-metal/ggml-metal-impl.h
src/ggml-metal/ggml-metal.m
src/ggml-metal/ggml-metal.metal