]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
graph : make FA compatible with MLA + add initial Metal kernels (#12953)
authorGeorgi Gerganov <redacted>
Thu, 17 Apr 2025 15:16:36 +0000 (18:16 +0300)
committerGitHub <redacted>
Thu, 17 Apr 2025 15:16:36 +0000 (18:16 +0300)
commit2f74c354c0f752ed9aabf7d3a350e6edebd7e744
tree8eb48f987b8c56a69b177f6a605023be88591fb6
parent207c22ec2d6d793fc70830138617d1e016c5151c
graph : make FA compatible with MLA + add initial Metal kernels (#12953)

* graph : make mla compatible with FA

* metal : add exp FA kernels for DeepSeek models

ggml-ci

* llama : minor naming updates

ggml-ci

* ggml : disable FA for DS head sizes

* tests : add FA tests for MLA shapes

ggml-ci
ggml/src/ggml-cuda/ggml-cuda.cu
ggml/src/ggml-metal/ggml-metal.m
ggml/src/ggml-metal/ggml-metal.metal
ggml/src/ggml-vulkan/ggml-vulkan.cpp
src/llama-context.cpp
src/llama-graph.cpp
src/llama-model.cpp
tests/test-backend-ops.cpp