]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
sycl: Add optional USM system allocations (#22526)
authorFrancois Dugast <redacted>
Wed, 17 Jun 2026 05:54:21 +0000 (07:54 +0200)
committerGitHub <redacted>
Wed, 17 Jun 2026 05:54:21 +0000 (08:54 +0300)
commit9b260fc9efff574394bd4948ffaf533ef1d00082
treee79c94559cef422a4b91f683d4c03f368dc0a1c4
parent74ade52741203e5c8f81eaf06a96cb1cfe15f2a3
sycl: Add optional USM system allocations (#22526)

This introduces an optional feature to allocate large GPU buffers (≥ 1GB)
using USM system allocations if supported by the device. It allows using
buffers from the system allocator then letting the system manage memory
migrations between host and device as necessary.

This feature is disabled by default and requires the GGML_SYCL_USM_SYSTEM
environment variable to enable. If USM system allocations are not supported
by the device or the system, we fallback to regular allocations.

This feature can allow VRAM overcommit. For example, the test below fails
on B580 due to lack of memory for allocation, but it passes when enabling
USM system allocations:

  ./examples/sycl/test.sh -m Qwen3.5-27B-Q3_K_M.gguf -lv 4

Signed-off-by: Francois Dugast <redacted>
docs/backend/SYCL.md
ggml/src/ggml-sycl/common.hpp
ggml/src/ggml-sycl/ggml-sycl.cpp