]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
vulkan: handle device dedup on MacOS + Vega II Duo cards (llama/19058)
authorOleksandr Kuvshynov <redacted>
Wed, 28 Jan 2026 11:35:54 +0000 (06:35 -0500)
committerGeorgi Gerganov <redacted>
Fri, 30 Jan 2026 11:49:29 +0000 (13:49 +0200)
commit1d2f62489fa56577c52ee94d70ee7cd887e657e3
treee61dc46aba44d2e1fe7444634ff8ccea0d0a88d5
parent2e2ec9ccb00933f26878cf3a35592c2f774abeae
vulkan: handle device dedup on MacOS + Vega II Duo cards (llama/19058)

Deduplication here relied on the fact that vulkan would return unique
UUID for different physical GPUs. It is at the moment not always the case.
On Mac Pro 2019 running Mac OS, with 2 Vega II Duo cards (so, 4 GPU total),
MotlenVK would assign same UUID to pairs of GPUs, unless they
are connected with Infinity Fabric.

See more details here: KhronosGroup/MoltenVK#2683.

The right way is to fix that in MoltenVK, but until it is fixed,
llama.cpp would only recognize 2 of 4 GPUs in such configuration.

The deduplication logic here is changed to only filter GPUs if UUID is
same but driver is different.
src/ggml-vulkan/ggml-vulkan.cpp