]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
sycl: use async memory allocation to fix crashes during graph recording (llama/16644)
authorMatthew Michel <redacted>
Thu, 23 Oct 2025 01:05:15 +0000 (20:05 -0500)
committerGeorgi Gerganov <redacted>
Sat, 1 Nov 2025 07:41:35 +0000 (09:41 +0200)
commitaaa8acb50f0c83118c597f51460e9634801df87c
tree4859bc83fc10e581a97a387bd519211b637b08bb
parent0a6f36a11d09fd2d510f40ee7248c98aaa229e1d
sycl: use async memory allocation to fix crashes during graph recording (llama/16644)

* sycl: use async memory allocation to fix graph recording failures

GGML_SYCL_DISABLE_GRAPHS=0 causes crashes because:
  - Host waits are currently unsupported in graph recording mode.
  - SYCL malloc / free calls are unsupported in graph recording mode.

The following changes are made to fix SYCL graph functionality:
  - When graphs are enabled, use the SYCL async memory extension for temp
    buffers which is supported with SYCL graphs.
  - For compiler versions that do not support this extension, skip
    graphs with the affected op.
  - Switch from USM shared to device memory as the async extension
    currently just supports device allocations.

* Address reviewer feedback

* Use global async variable to decide path in sycl_ext_[malloc_device|free]
src/ggml-sycl/ggml-sycl.cpp