]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
sycl: add usage of enqueue_functions extension (llama/14244)
authorNicolò Scipione <redacted>
Fri, 20 Jun 2025 13:07:21 +0000 (15:07 +0200)
committerGeorgi Gerganov <redacted>
Fri, 20 Jun 2025 18:14:52 +0000 (21:14 +0300)
commite72de22c1acb7cc71f838f9a882bea690f1c8aab
tree570148a2fd7841c84790c059cfee95fe8a769ef2
parentc7f5793173ece185d48866dbdc23c61e0fd3d483
sycl: add usage of enqueue_functions extension (llama/14244)

* Add header and namespace to use enqueue_functions extension

* Convert submit and parallel_for to use new extension in convert.cpp

* Convert submit and parallel_for to use extension in ggml-sycl.cpp

* Convert submit and parallel_for to use extension in gla.cpp

* Convert submit and parallel_for in mmq.cpp

* Convert submit and parallel_for in mmvq.cpp

* Convert submit and parallel_for in remaining files

* Convert all simple parallel_for to nd_launch from enqueue_functions
extension

* Wrapping extension in general function

Create a general function that enable the enqueue_functions extension if
it is enable in the compiler, otherwise call the general SYCL function
to launch kernels.

---------

Signed-off-by: nscipione <redacted>
19 files changed:
src/ggml-sycl/binbcast.cpp
src/ggml-sycl/concat.cpp
src/ggml-sycl/conv.cpp
src/ggml-sycl/convert.cpp
src/ggml-sycl/cpy.cpp
src/ggml-sycl/dmmv.cpp
src/ggml-sycl/dpct/helper.hpp
src/ggml-sycl/element_wise.cpp
src/ggml-sycl/getrows.cpp
src/ggml-sycl/ggml-sycl.cpp
src/ggml-sycl/gla.cpp
src/ggml-sycl/im2col.cpp
src/ggml-sycl/mmq.cpp
src/ggml-sycl/mmvq.cpp
src/ggml-sycl/norm.cpp
src/ggml-sycl/rope.cpp
src/ggml-sycl/softmax.cpp
src/ggml-sycl/tsembd.cpp
src/ggml-sycl/wkv.cpp