]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
Remove padding and multiple D2D copies for MTP (#24086)
authorGaurav Garg <redacted>
Wed, 10 Jun 2026 17:51:16 +0000 (23:21 +0530)
committerGitHub <redacted>
Wed, 10 Jun 2026 17:51:16 +0000 (23:21 +0530)
commite95dae18d64ae4471d61a9dc87880a64e0e5c86e
tree279e047efb6ac390b17753fe1048633ade0d6347
parentd2462f8f7ac6d80070a587ffebf6cd73730f4280
Remove padding and multiple D2D copies for MTP (#24086)

* Make ggml_gated_delta_net take only the initial recurrent state (D, 1, n_seqs) and passes the snapshot count K as an op parameter instead of inferring it from state->ne[1].

Remove the padding hack and copy all emitted snapshots into the recurrent cache with a single strided ggml_cpy

* Make GDN changes in all backends. Address review comments.

* Fix CI build errors
20 files changed:
ggml/include/ggml.h
ggml/src/ggml-backend-meta.cpp
ggml/src/ggml-cpu/ggml-cpu.c
ggml/src/ggml-cpu/ops.cpp
ggml/src/ggml-cuda/gated_delta_net.cu
ggml/src/ggml-hexagon/ggml-hexagon.cpp
ggml/src/ggml-hexagon/htp/gated-delta-net-ops.c
ggml/src/ggml-metal/ggml-metal-device.cpp
ggml/src/ggml-metal/ggml-metal.metal
ggml/src/ggml-opencl/ggml-opencl.cpp
ggml/src/ggml-opencl/kernels/gated_delta_net.cl
ggml/src/ggml-sycl/gated_delta_net.cpp
ggml/src/ggml-vulkan/ggml-vulkan.cpp
ggml/src/ggml-vulkan/vulkan-shaders/gated_delta_net.comp
ggml/src/ggml-webgpu/ggml-webgpu.cpp
ggml/src/ggml-webgpu/wgsl-shaders/gated_delta_net.wgsl
ggml/src/ggml.c
src/models/delta-net-base.cpp
src/models/models.h
tests/test-backend-ops.cpp