]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
metal : add support for non-padded FA KV (#16148)
authorGeorgi Gerganov <redacted>
Tue, 7 Oct 2025 05:23:30 +0000 (08:23 +0300)
committerGitHub <redacted>
Tue, 7 Oct 2025 05:23:30 +0000 (08:23 +0300)
commit0a319bb75ed29d968e2a9b544011b09ccb932915
tree94ce874dc77549f88ad2ba37d9c9cc7e232377e8
parent1d6092fc72f4d10f4486ac95edfd414bc08b62b8
metal : add support for non-padded FA KV (#16148)

* metal : pad K, V and Mask when needed

* cont : simplify

* cuda : add TODO about KV padding requirement

* metal : add comments

* metal : remove mask padding requirement
ggml/src/ggml-cuda/fattn.cu
ggml/src/ggml-metal/ggml-metal-device.cpp
ggml/src/ggml-metal/ggml-metal-device.h
ggml/src/ggml-metal/ggml-metal-impl.h
ggml/src/ggml-metal/ggml-metal-ops.cpp
ggml/src/ggml-metal/ggml-metal-ops.h
ggml/src/ggml-metal/ggml-metal.cpp
ggml/src/ggml-metal/ggml-metal.metal
tests/test-backend-ops.cpp