]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
CUDA : Fix CUB's argsort when nrows % block_size == 0 CCCL < 3.1 (llama/21181)
authorOliver Simons <redacted>
Mon, 30 Mar 2026 14:20:00 +0000 (16:20 +0200)
committerGeorgi Gerganov <redacted>
Thu, 30 Apr 2026 08:28:57 +0000 (11:28 +0300)
commit75b9543856158561584afe59772713ded1e82e95
treeb3df2eba3354d22e99d927166857da5d1c129306
parent40ddc5a5b911851f4867207c80d8db2eb238388f
CUDA : Fix CUB's argsort when nrows % block_size == 0 CCCL < 3.1 (llama/21181)

* CUDA: Fix CUB's argsort when nrows % block_size == 0 CCCL < 3.1

We wrongly calculated offset_grid as `ceildiv(nrows, block_size)`,
while it must be `ceildiv(nrows + 1, block_size)`. As a consequence, we
had uninitialized values in `offset_iterator[nrows]` for the case when
`nrows % block_size == 0`.

Fixes #21162

* Reduce nrows in test case to 256, don't need 768
ggml/src/ggml-cuda/argsort.cu