]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
kv-cache : use ggml_set_rows (llama/14285)
authorGeorgi Gerganov <redacted>
Thu, 3 Jul 2025 07:53:35 +0000 (10:53 +0300)
committerGeorgi Gerganov <redacted>
Sat, 12 Jul 2025 13:05:00 +0000 (16:05 +0300)
commit0171749adbc0568456986f77930241e47ddd7598
tree84aa9865a8d96219b5390966ac308a77068ab563
parent0623ef331bec12c50e4eeabe5de0d3a2a368a398
kv-cache : use ggml_set_rows (llama/14285)

* kv-cache : use ggml_set_rows

ggml-ci

* graph : separate k and v indices

ggml-ci

* cont : remove redundant ifs

ggml-ci

* kv-cache : improve find_slot impl

* kv-cache : bounds-check when accessing slot_info indices

* kv-cache : add comments

ggml-ci

* ggml : add TODOs for adding GGML_OP_SET_ROWS support in the backends

ggml-ci
src/ggml-cann/ggml-cann.cpp
src/ggml-opencl/ggml-opencl.cpp
src/ggml-sycl/ggml-sycl.cpp
src/ggml-vulkan/ggml-vulkan.cpp