]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
SYCL: fix rms_norm_mul_add for tensor dim not a multiple of sg_size (llama/15592)
authorAkarshan Biswas <redacted>
Tue, 26 Aug 2025 18:57:49 +0000 (00:27 +0530)
committerGeorgi Gerganov <redacted>
Fri, 5 Sep 2025 09:54:05 +0000 (12:54 +0300)
commit7436523501412c719d1a0a7f1bdac699b1cedc1c
tree230529476070474c601d7e924ddf4e62d34df4dc
parent3eeaf088a83f54aae39262296b15318403f0284f
SYCL: fix rms_norm_mul_add for tensor dim not a multiple of sg_size (llama/15592)

The original implementation unconditionally returned true for this operation, leading to a failure when the tensor's first dimension (ne[0]) was not a multiple of WARP_SIZE. This caused an GGML_ASSERT(ncols % WARP_SIZE == 0) failure in ggml-sycl/norm.cpp.

This change updates the ggml_backend_sycl_device_supports_op check to correctly return true for GGML_OP_RMS_NORM only when the first dimension of the tensor is a multiple of WARP_SIZE, ensuring the operation can be performed without error.
src/ggml-sycl/ggml-sycl.cpp