]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
SYCL: Add non contiguous support in RMS_NORM and NORM kernels (llama/13611)
authorAkarshan Biswas <redacted>
Mon, 26 May 2025 15:40:36 +0000 (21:10 +0530)
committerGeorgi Gerganov <redacted>
Tue, 27 May 2025 13:58:49 +0000 (16:58 +0300)
commitbaad6e369301b3de53aa9d6fa358141f4c9c3685
treec3475ddf36857ea33ae3749858ed4d260757bc69
parenta56f3e0c80ef917b708de5f876b3892dc54458e5
SYCL: Add non contiguous support in RMS_NORM and NORM kernels (llama/13611)

* SYCL: Add non contiguous input support to norm kernel

* refactor and add RMS_NORM non contiguous input support

ggml-ci

* restore subgroup reduction for multi-subgroup thread blocks in norm kernels

* Swap grid dims of nsamples and nrows

ggml-ci

* Revert "Swap grid dims of nsamples and nrows"

This reverts commit 43be2d657fec7f7fba54e2cd154106bc0fc45adf.

* restore not required changes
ggml-ci

* address review comments: change it to more like SYCL

* Use a common function to calculate offset

* remove wrap around logic for handling broadcasts

* remove static from calculate_offset fn and use ceil_div
src/ggml-sycl/common.hpp
src/ggml-sycl/ggml-sycl.cpp
src/ggml-sycl/norm.cpp