]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
SYCL: Introducing memory host pool (llama/11251)
authorNicolò Scipione <redacted>
Sun, 19 Jan 2025 13:33:34 +0000 (14:33 +0100)
committerGeorgi Gerganov <redacted>
Mon, 3 Feb 2025 20:00:57 +0000 (22:00 +0200)
commitd507b4cebe085da9b99aaebff82b5282d64279a2
tree3b2d706a2858c7f1f44afbe1bdb7f85987623b55
parent90171055f390cf206199e969abf3917ec9da8c27
SYCL: Introducing memory host pool (llama/11251)

* Implement host pool for matrix_info

Creating a new memory pool on the host to store memory location for
matrix_info needed to launch gemm_batch from oneMKL/oneMath.
Removing complex support in gemm_batch since it is not used in llama.cpp

* Remove unnecessary headers and cast

* Reorder member variable to avoid warning on initialization

* Formatting

* Remove unused variable

* Address PR review feedback - remove warning

---------

Signed-off-by: nscipione <redacted>
ggml/src/ggml-sycl/common.hpp
ggml/src/ggml-sycl/dpct/helper.hpp
ggml/src/ggml-sycl/ggml-sycl.cpp