]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
vulkan: extend topk_moe to handle sigmoid w/exp_probs_b for nemotron (llama/18295)
authorJeff Bolz <redacted>
Thu, 1 Jan 2026 07:58:27 +0000 (01:58 -0600)
committerGeorgi Gerganov <redacted>
Wed, 14 Jan 2026 07:11:59 +0000 (09:11 +0200)
commitb1f65a4a7e3935d00b24219e0ea1d5bb1715751c
tree75f29f171aa2366a9a3cdb4e7318af0c4d02974b
parenta96310871a3b294f026c3bcad4e715d17b5905fe
vulkan: extend topk_moe to handle sigmoid w/exp_probs_b for nemotron (llama/18295)

* vulkan: extend topk_moe to handle sigmoid w/exp_probs_b for nemotron

Also handle GGML_OP_SCALE at the end (nemotron, deepseek2).

Fewer pipeline variants and spec constants, just use push constants.

In test_topk_moe, change exp_probs_b to be 1D, matching real networks.

Update test-backend-ops and ggml-backend to allow verifying multiple outputs
in a fusion test (topk_moe has two outputs). Previously only the final node
was verified.

* change test_topk_moe to allow results in arbitrary order

* disable sigmoid fusion for moltenvk
ggml/include/ggml-backend.h
ggml/src/ggml-backend.cpp
ggml/src/ggml-vulkan/ggml-vulkan.cpp
ggml/src/ggml-vulkan/vulkan-shaders/topk_moe.comp