]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
sycl: use async memory allocation to fix crashes during graph recording (#16644)
authorMatthew Michel <redacted>
Thu, 23 Oct 2025 01:05:15 +0000 (20:05 -0500)
committerGitHub <redacted>
Thu, 23 Oct 2025 01:05:15 +0000 (09:05 +0800)
commit9de9672adb0f4ca4e39483ac3ffed52b3f70a55d
tree9f34a7f29a5df594c63aaba8f083c4ac320a16a7
parent63d2fc46e17a06be5b4b5823a5ada088317f1f0a
sycl: use async memory allocation to fix crashes during graph recording (#16644)

* sycl: use async memory allocation to fix graph recording failures

GGML_SYCL_DISABLE_GRAPHS=0 causes crashes because:
  - Host waits are currently unsupported in graph recording mode.
  - SYCL malloc / free calls are unsupported in graph recording mode.

The following changes are made to fix SYCL graph functionality:
  - When graphs are enabled, use the SYCL async memory extension for temp
    buffers which is supported with SYCL graphs.
  - For compiler versions that do not support this extension, skip
    graphs with the affected op.
  - Switch from USM shared to device memory as the async extension
    currently just supports device allocations.

* Address reviewer feedback

* Use global async variable to decide path in sycl_ext_[malloc_device|free]
ggml/src/ggml-sycl/ggml-sycl.cpp