]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
CUDA/HIP: Fix kernel slection for mmvq mmid kernel to align host selection with devic...
authoruvos <redacted>
Wed, 1 Apr 2026 08:21:20 +0000 (10:21 +0200)
committerGeorgi Gerganov <redacted>
Thu, 30 Apr 2026 08:28:58 +0000 (11:28 +0300)
commit1971a362dc008312762ed208cd0296bc23717901
treec6055b01c9a8608a8be73ff38b5193a194b4d72d
parent5c5b88eb779cbd37a32c209c2034e6b56b55c4fe
CUDA/HIP: Fix kernel slection for mmvq mmid kernel to align host selection with device launch bounds (llama/21238)

The conditions cc == GGML_CUDA_CC_VOLTA || cc >= GGML_CUDA_CC_ADA_LOVELACE and cc >= GGML_CUDA_CC_TURING match all non-nvidia devices. This causes us to attempt to launch the kernel for batch sizes with larger configurations than our launch bounds on HIP devices. This pr fixes the conditionals in get_mmvq_mmid_max_batch.

Fixes #21191
ggml/src/ggml-cuda/mmvq.cu