]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
SYCL: Add non contiguous support in RMS_NORM and NORM kernels (#13611)
authorAkarshan Biswas <redacted>
Mon, 26 May 2025 15:40:36 +0000 (21:10 +0530)
committerGitHub <redacted>
Mon, 26 May 2025 15:40:36 +0000 (21:10 +0530)
commit6f180b915c9ed9ec0c240b5dcd64644988fb5e82
tree7f7bcd584058b639c9f09c00538cc52b75124365
parent03f582ae8fccecff225c30a2802461b44761e822
SYCL: Add non contiguous support in RMS_NORM and NORM kernels (#13611)

* SYCL: Add non contiguous input support to norm kernel

* refactor and add RMS_NORM non contiguous input support

ggml-ci

* restore subgroup reduction for multi-subgroup thread blocks in norm kernels

* Swap grid dims of nsamples and nrows

ggml-ci

* Revert "Swap grid dims of nsamples and nrows"

This reverts commit 43be2d657fec7f7fba54e2cd154106bc0fc45adf.

* restore not required changes
ggml-ci

* address review comments: change it to more like SYCL

* Use a common function to calculate offset

* remove wrap around logic for handling broadcasts

* remove static from calculate_offset fn and use ceil_div
ggml/src/ggml-sycl/common.hpp
ggml/src/ggml-sycl/ggml-sycl.cpp
ggml/src/ggml-sycl/norm.cpp