]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
HIP: WMMA-MMQ kernels for RDNA 4 (llama/17156)
authorJiacheng (Jason) Chen <redacted>
Mon, 24 Nov 2025 19:00:10 +0000 (14:00 -0500)
committerGeorgi Gerganov <redacted>
Fri, 12 Dec 2025 15:53:07 +0000 (17:53 +0200)
commit371a21865a9bacdbb7099fc8b1a966599c016fd6
treea5587d65b0d05260931fa89ea2e679c4d4f058a5
parentf4ede89d24ae06af1e3b458a565c6f37012144b7
HIP: WMMA-MMQ kernels for RDNA 4 (llama/17156)

* first commit naive test to enable mmq for RDNA4

* adding appropriate WMMA instructions

* git rebase on top of master: fixing the correctness of the mat mul operations, updating layout mappings for RDNA4

* clean up merge conflicts

* add comments and code clean up

* PR clean up, addressed comments

* enable MMQ fallback on RDNA4

* addressed comments: add guards in load generic, separate wmma branch for use_mmq function

* Revert build-xcframework.sh

* Formating: remove trailing whitespace

* revert CMake files

* clean up after rebase: remove duplicated change, revert cmake files

* clean up after rebase: revert changes from build-xcframework.sh

* clean up: remove extra space line in mma.cuh

* Revert "clean up: remove extra space line in mma.cuh"

This reverts commit b39ed57c4529906466bd0bc7c2a86e08fc2f8bee.
ggml/src/ggml-cuda/mma.cuh
ggml/src/ggml-cuda/mmq.cu
ggml/src/ggml-cuda/mmq.cuh