]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
SYCL: fix rms_norm_mul_add for tensor dim not a multiple of sg_size (llama/15592)
authorAkarshan Biswas <redacted>
Tue, 26 Aug 2025 18:57:49 +0000 (00:27 +0530)
committerGeorgi Gerganov <redacted>
Sat, 20 Sep 2025 10:42:42 +0000 (13:42 +0300)
commit94fa9f63b3ab9addcfca36be227d3e0f7c1670b0
tree1b28c2b64ca20dee2eabf92b308b1e2ef5b2c148
parent31c7784e0932843bbde59f78324a0b06d39e7b39
SYCL: fix rms_norm_mul_add for tensor dim not a multiple of sg_size (llama/15592)

The original implementation unconditionally returned true for this operation, leading to a failure when the tensor's first dimension (ne[0]) was not a multiple of WARP_SIZE. This caused an GGML_ASSERT(ncols % WARP_SIZE == 0) failure in ggml-sycl/norm.cpp.

This change updates the ggml_backend_sycl_device_supports_op check to correctly return true for GGML_OP_RMS_NORM only when the first dimension of the tensor is a multiple of WARP_SIZE, ensuring the operation can be performed without error.
ggml/src/ggml-sycl/ggml-sycl.cpp