]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
graph : make FA compatible with MLA + add initial Metal kernels (llama/12953)
authorGeorgi Gerganov <redacted>
Thu, 17 Apr 2025 15:16:36 +0000 (18:16 +0300)
committerGeorgi Gerganov <redacted>
Thu, 24 Apr 2025 17:39:16 +0000 (20:39 +0300)
commit36019c35a3003089eb3a32ec6865f173152b29b3
tree906408fb80ed98b99eca909edec8ceaa59d7859d
parent4e936e2afa8127ff54ab70b530ca44041531ca4e
graph : make FA compatible with MLA + add initial Metal kernels (llama/12953)

* graph : make mla compatible with FA

* metal : add exp FA kernels for DeepSeek models

ggml-ci

* llama : minor naming updates

ggml-ci

* ggml : disable FA for DS head sizes

* tests : add FA tests for MLA shapes

ggml-ci
ggml/src/ggml-cuda/ggml-cuda.cu
ggml/src/ggml-metal/ggml-metal.m
ggml/src/ggml-metal/ggml-metal.metal
ggml/src/ggml-vulkan/ggml-vulkan.cpp