]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
HIP: add mmf for CDNA (#18896)
authoryulo <redacted>
Thu, 29 Jan 2026 10:10:53 +0000 (18:10 +0800)
committerGitHub <redacted>
Thu, 29 Jan 2026 10:10:53 +0000 (11:10 +0100)
commitf3dd7b8e680e37342649024c0ee282c5d60b83da
tree9f38d7b74f783e15cecacb61e51f237d23ea92e5
parenteed25bc6b052c363aa760d0055282cc2222ccf6e
HIP: add mmf for CDNA (#18896)

* refactor mmf rows_per_block

* speed up compile

* pass cdna compile

* fix cuda error

* clean up mmf

* f32 mmf

* clean float mma

* fix mmf error

* faster mmf

* extend tile k

* fix compile error

* Revert "extend tile k"

This reverts commit 4d2ef3d483932659801a59a5af0b6b48f6ffd5c7.

* fix smem overflow

* speed up compiling mmf

* speed up compile for hip

* 512 block for cdna

* config pad size

* fix as comment

* update select logic

* move some code to cuh

* fix as comment

* correct cdna3 config

---------

Co-authored-by: zhang hui <redacted>
ggml/src/ggml-cuda/mma.cuh
ggml/src/ggml-cuda/mmf.cu
ggml/src/ggml-cuda/mmf.cuh
ggml/src/ggml-hip/CMakeLists.txt