]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
ggml : add GGML_OP_LIGHTNING_INDEXER that implements DeepSeek V3.2/V4 lightning index...
authorfairydreaming <redacted>
Sat, 11 Jul 2026 09:39:07 +0000 (11:39 +0200)
committerGitHub <redacted>
Sat, 11 Jul 2026 09:39:07 +0000 (11:39 +0200)
commit00f5442cc4e805293280c8f85d21d8f9d4aad206
tree519264e50f7bef1c3923f4b0d5cb9b0ef424eb23
parent76f2798059575a96a12e4d34342165a4b6a6a312
ggml : add GGML_OP_LIGHTNING_INDEXER that implements DeepSeek V3.2/V4 lightning indexer (#24231)

* ggml : add GGML_OP_LIGHTNING_INDEXER that implements DeepSeek V3.2/V4 lightning indexer

* ggml : remove scale parameters from lightning indexer OP, add f16 mask parameter

* tests : add GGML_OP_LIGHTNING_INDEXER tests

* ggml : bump RPC version

* chore : check if lightning indexer input tensors are not transposed

* tests : count flops instead of bandwidth in lightning indexer test

* chore : add missing const

* chore : whitespace

* ggml : renamed variables in CPU lightning indexer implementation

* ggml : fix lightning indexer mask broadcasting

* tests : tests for lightning indexer mask broadcasting

* chore : whitespace

* llama : use GGML_OP_LIGHTNING_INDEXER in DeepSeek V3.2 and DeepSeek V4 models

---------

Co-authored-by: Stanisław Szymczyk <redacted>
13 files changed:
ggml/include/ggml-rpc.h
ggml/include/ggml.h
ggml/src/ggml-cpu/ggml-cpu.c
ggml/src/ggml-cpu/ops.cpp
ggml/src/ggml-cpu/ops.h
ggml/src/ggml.c
src/llama-context.cpp
src/llama-cparams.h
src/llama-graph.cpp
src/llama-graph.h
src/models/deepseek32.cpp
src/models/deepseek4.cpp
tests/test-backend-ops.cpp