]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
Remove padding and multiple D2D copies for MTP (llama/24086)
authorGaurav Garg <redacted>
Wed, 10 Jun 2026 17:51:16 +0000 (23:21 +0530)
committerGeorgi Gerganov <redacted>
Mon, 15 Jun 2026 07:33:53 +0000 (10:33 +0300)
commit1a1900f90c165a078d66b4958db46fe82d14ff27
treeaed2c88b4bab6318b77b4e47b528c5a93381014c
parentef85b26d9f0bfeba3548ea6ceb213a5191ef4c11
Remove padding and multiple D2D copies for MTP (llama/24086)

* Make ggml_gated_delta_net take only the initial recurrent state (D, 1, n_seqs) and passes the snapshot count K as an op parameter instead of inferring it from state->ne[1].

Remove the padding hack and copy all emitted snapshots into the recurrent cache with a single strided ggml_cpy

* Make GDN changes in all backends. Address review comments.

* Fix CI build errors
17 files changed:
ggml/include/ggml.h
ggml/src/ggml-backend-meta.cpp
ggml/src/ggml-cpu/ggml-cpu.c
ggml/src/ggml-cpu/ops.cpp
ggml/src/ggml-cuda/gated_delta_net.cu
ggml/src/ggml-hexagon/ggml-hexagon.cpp
ggml/src/ggml-hexagon/htp/gated-delta-net-ops.c
ggml/src/ggml-metal/ggml-metal-device.cpp
ggml/src/ggml-metal/ggml-metal.metal
ggml/src/ggml-opencl/ggml-opencl.cpp
ggml/src/ggml-opencl/kernels/gated_delta_net.cl
ggml/src/ggml-sycl/gated_delta_net.cpp
ggml/src/ggml-vulkan/ggml-vulkan.cpp
ggml/src/ggml-vulkan/vulkan-shaders/gated_delta_net.comp
ggml/src/ggml-webgpu/ggml-webgpu.cpp
ggml/src/ggml-webgpu/wgsl-shaders/gated_delta_net.wgsl
ggml/src/ggml.c