]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
HIP: WMMA-MMQ kernels for RDNA 4 (#17156)
authorJiacheng (Jason) Chen <redacted>
Mon, 24 Nov 2025 19:00:10 +0000 (14:00 -0500)
committerGitHub <redacted>
Mon, 24 Nov 2025 19:00:10 +0000 (20:00 +0100)
commit0543f928a3ae576e6e16d3bbf02c0bf9fddba688
tree483bf9c4cfc70bf951a3e3968d7c24fa7d7940e3
parentb61de2b2df4ff07e6d6de96320fb311d96908b7a
HIP: WMMA-MMQ kernels for RDNA 4 (#17156)

* first commit naive test to enable mmq for RDNA4

* adding appropriate WMMA instructions

* git rebase on top of master: fixing the correctness of the mat mul operations, updating layout mappings for RDNA4

* clean up merge conflicts

* add comments and code clean up

* PR clean up, addressed comments

* enable MMQ fallback on RDNA4

* addressed comments: add guards in load generic, separate wmma branch for use_mmq function

* Revert build-xcframework.sh

* Formating: remove trailing whitespace

* revert CMake files

* clean up after rebase: remove duplicated change, revert cmake files

* clean up after rebase: revert changes from build-xcframework.sh

* clean up: remove extra space line in mma.cuh

* Revert "clean up: remove extra space line in mma.cuh"

This reverts commit b39ed57c4529906466bd0bc7c2a86e08fc2f8bee.
ggml/src/ggml-cuda/mma.cuh
ggml/src/ggml-cuda/mmq.cu
ggml/src/ggml-cuda/mmq.cuh