]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
SYCL: Introducing memory host pool (llama/11251)
authorNicolò Scipione <redacted>
Sun, 19 Jan 2025 13:33:34 +0000 (14:33 +0100)
committerGeorgi Gerganov <redacted>
Wed, 29 Jan 2025 10:57:00 +0000 (12:57 +0200)
commit91c426d2f8daa0aa7d8a1ba5ca8940523766fa99
tree22a73e3c10d119d7d524b378e7f85319f5d0ee74
parent7910ca3c421e2dee316fbe39328509281087179b
SYCL: Introducing memory host pool (llama/11251)

* Implement host pool for matrix_info

Creating a new memory pool on the host to store memory location for
matrix_info needed to launch gemm_batch from oneMKL/oneMath.
Removing complex support in gemm_batch since it is not used in llama.cpp

* Remove unnecessary headers and cast

* Reorder member variable to avoid warning on initialization

* Formatting

* Remove unused variable

* Address PR review feedback - remove warning

---------

Signed-off-by: nscipione <redacted>
src/ggml-sycl/common.hpp
src/ggml-sycl/dpct/helper.hpp
src/ggml-sycl/ggml-sycl.cpp