]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
metal : add support for non-padded FA KV (llama/16148)
authorGeorgi Gerganov <redacted>
Tue, 7 Oct 2025 05:23:30 +0000 (08:23 +0300)
committerGeorgi Gerganov <redacted>
Sun, 12 Oct 2025 04:57:25 +0000 (07:57 +0300)
commit0227e241aeedd18fa962ced5d0bde911bfe32742
treea12834fa55e25808401c6cdc9e4cec5102ebfe9a
parentd77b538a290cbede3a8b6d5c3a3ec7bfba4ed654
metal : add support for non-padded FA KV (llama/16148)

* metal : pad K, V and Mask when needed

* cont : simplify

* cuda : add TODO about KV padding requirement

* metal : add comments

* metal : remove mask padding requirement
src/ggml-cuda/fattn.cu
src/ggml-metal/ggml-metal-device.cpp
src/ggml-metal/ggml-metal-device.h
src/ggml-metal/ggml-metal-impl.h
src/ggml-metal/ggml-metal-ops.cpp
src/ggml-metal/ggml-metal-ops.h
src/ggml-metal/ggml-metal.cpp
src/ggml-metal/ggml-metal.metal
tests/test-backend-ops.cpp