]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
vulkan: handle device dedup on MacOS + Vega II Duo cards (llama/19058)
authorOleksandr Kuvshynov <redacted>
Wed, 28 Jan 2026 11:35:54 +0000 (06:35 -0500)
committerGeorgi Gerganov <redacted>
Fri, 30 Jan 2026 13:56:40 +0000 (15:56 +0200)
commitdda7d9cd1c2ba9808abbd66a0d2268d946a56fe3
tree7009c28ead8328d977e2f81eedcfddee7ed06295
parent531d7b6781bd57e20f157d7d37dfe5c0b18a4341
vulkan: handle device dedup on MacOS + Vega II Duo cards (llama/19058)

Deduplication here relied on the fact that vulkan would return unique
UUID for different physical GPUs. It is at the moment not always the case.
On Mac Pro 2019 running Mac OS, with 2 Vega II Duo cards (so, 4 GPU total),
MotlenVK would assign same UUID to pairs of GPUs, unless they
are connected with Infinity Fabric.

See more details here: KhronosGroup/MoltenVK#2683.

The right way is to fix that in MoltenVK, but until it is fixed,
llama.cpp would only recognize 2 of 4 GPUs in such configuration.

The deduplication logic here is changed to only filter GPUs if UUID is
same but driver is different.
ggml/src/ggml-vulkan/ggml-vulkan.cpp