]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
CUDA: Fix bug in topk-moe for gpt-oss (llama/16821)
authorAman Gupta <redacted>
Wed, 29 Oct 2025 07:55:06 +0000 (15:55 +0800)
committerGeorgi Gerganov <redacted>
Sun, 9 Nov 2025 21:38:03 +0000 (23:38 +0200)
commit5c316c48f77c16ec9af75d592d5c90a9eb296a6a
tree2c500e618c9ae186bce59c209093a9f190290b83
parent5850c952e52e0957d8100f847ec58785426316b3
CUDA: Fix bug in topk-moe for gpt-oss (llama/16821)

* CUDA: Fix bug in topk-moe for gpt-oss

When using ggml_can_fuse_subgraph, the output nodes which are passed are wrong. This causes `test-backend-ops` to still fuse ndoes (because the nodes are not used elsewhere in the graph),
but it actually doesn't fuse in the actual gpt-oss

* fix for qwen3 too

* change ifndef to ifdef
ggml/src/ggml-cuda/ggml-cuda.cu