]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
SYCL: Add non contiguous support in RMS_NORM and NORM kernels (llama/13611)
authorAkarshan Biswas <redacted>
Mon, 26 May 2025 15:40:36 +0000 (21:10 +0530)
committerGeorgi Gerganov <redacted>
Tue, 27 May 2025 15:03:00 +0000 (18:03 +0300)
commit195fde88049053fe8f955aecd63e86859bf09596
treea66e47f97b3b553e40d88aa2d9c7d05c6d882515
parent25e27904ca117ad7d759b3bac1540ba4ce44d1ed
SYCL: Add non contiguous support in RMS_NORM and NORM kernels (llama/13611)

* SYCL: Add non contiguous input support to norm kernel

* refactor and add RMS_NORM non contiguous input support

ggml-ci

* restore subgroup reduction for multi-subgroup thread blocks in norm kernels

* Swap grid dims of nsamples and nrows

ggml-ci

* Revert "Swap grid dims of nsamples and nrows"

This reverts commit 43be2d657fec7f7fba54e2cd154106bc0fc45adf.

* restore not required changes
ggml-ci

* address review comments: change it to more like SYCL

* Use a common function to calculate offset

* remove wrap around logic for handling broadcasts

* remove static from calculate_offset fn and use ceil_div
ggml/src/ggml-sycl/common.hpp
ggml/src/ggml-sycl/ggml-sycl.cpp
ggml/src/ggml-sycl/norm.cpp