]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
vulkan: extend topk_moe to handle sigmoid w/exp_probs_b for nemotron (#18295)
authorJeff Bolz <redacted>
Thu, 1 Jan 2026 07:58:27 +0000 (01:58 -0600)
committerGitHub <redacted>
Thu, 1 Jan 2026 07:58:27 +0000 (08:58 +0100)
commitbe47fb9285779e900915bd8246eb9664110d4ba5
treebfa290adafb99a7247252fe14147fd59f0411c01
parent9e10bd2eafa337380533b9c066a81f9916240e1c
vulkan: extend topk_moe to handle sigmoid w/exp_probs_b for nemotron (#18295)

* vulkan: extend topk_moe to handle sigmoid w/exp_probs_b for nemotron

Also handle GGML_OP_SCALE at the end (nemotron, deepseek2).

Fewer pipeline variants and spec constants, just use push constants.

In test_topk_moe, change exp_probs_b to be 1D, matching real networks.

Update test-backend-ops and ggml-backend to allow verifying multiple outputs
in a fusion test (topk_moe has two outputs). Previously only the final node
was verified.

* change test_topk_moe to allow results in arbitrary order

* disable sigmoid fusion for moltenvk
ggml/include/ggml-backend.h
ggml/src/ggml-backend.cpp
ggml/src/ggml-vulkan/ggml-vulkan.cpp
ggml/src/ggml-vulkan/vulkan-shaders/topk_moe.comp
tests/test-backend-ops.cpp