]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
HIP: WMMA-MMQ kernels for RDNA 4 (llama/17156)
authorJiacheng (Jason) Chen <redacted>
Mon, 24 Nov 2025 19:00:10 +0000 (14:00 -0500)
committerGeorgi Gerganov <redacted>
Thu, 11 Dec 2025 13:32:44 +0000 (15:32 +0200)
commitb3166ace67dde9fc951eb5d975f6a404e73c808a
tree2a004f861483c9950316e5df3a164433080f8e28
parentdd0edcb1139b31ec049d8d0e4cc9eb7eb18d65e8
HIP: WMMA-MMQ kernels for RDNA 4 (llama/17156)

* first commit naive test to enable mmq for RDNA4

* adding appropriate WMMA instructions

* git rebase on top of master: fixing the correctness of the mat mul operations, updating layout mappings for RDNA4

* clean up merge conflicts

* add comments and code clean up

* PR clean up, addressed comments

* enable MMQ fallback on RDNA4

* addressed comments: add guards in load generic, separate wmma branch for use_mmq function

* Revert build-xcframework.sh

* Formating: remove trailing whitespace

* revert CMake files

* clean up after rebase: remove duplicated change, revert cmake files

* clean up after rebase: revert changes from build-xcframework.sh

* clean up: remove extra space line in mma.cuh

* Revert "clean up: remove extra space line in mma.cuh"

This reverts commit b39ed57c4529906466bd0bc7c2a86e08fc2f8bee.
src/ggml-cuda/mma.cuh
src/ggml-cuda/mmq.cu
src/ggml-cuda/mmq.cuh