]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
llama : do not skip iGPU when only RPC devices are present (#23868)
authorRadoslav Gerganov <redacted>
Sat, 30 May 2026 04:48:22 +0000 (07:48 +0300)
committerGitHub <redacted>
Sat, 30 May 2026 04:48:22 +0000 (07:48 +0300)
commit1738129bee5c81b06fa1850daf3f958813c76f5f
tree6c1b0e1ecaaa869ef5905d20e89598a2316fe7c6
parent0821c5fcfd729af70037bc1e9e60769d42c081ba
llama : do not skip iGPU when only RPC devices are present (#23868)

After #23007 reclassified integrated CUDA/HIP devices as IGPU, the device
selection logic dropped the local iGPU whenever any RPC server was added,
because RPC devices made `model->devices` non-empty. On systems where the
"iGPU" is the main compute device (e.g. Strix Halo with 128 GiB of unified
memory), this caused all tensors to be allocated on the RPC peer alone and
model loading to fail.

Gate the iGPU inclusion on `gpus.empty()` instead, so RPC peers no longer
suppress the local iGPU.

closes: #23858
src/llama.cpp