]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
cuda : CUDA GGML_OP_LIGHTNING_INDEXER implementation (generic vector kernel + wmma...
authorfairydreaming <redacted>
Wed, 15 Jul 2026 17:57:52 +0000 (19:57 +0200)
committerGitHub <redacted>
Wed, 15 Jul 2026 17:57:52 +0000 (19:57 +0200)
commit3b53219361a61b53e7741c479b81b755ec6096b1
treec8b11d1796e618218f5b27c151ed63da4d608b5c
parentaff6eb6e7503538fec1532dec2f584bc7a4a4e4d
cuda : CUDA GGML_OP_LIGHTNING_INDEXER implementation (generic vector kernel + wmma kernel) (#25545)

* cuda : CUDA GGML_OP_LIGHTNING_INDEXER implementation (generic vector kernel + wmma kernel)

* chore : remove indentation of #pragma unroll

* cuda : remove unnecessary kernel template declarations

* cuda : add WARPS_PER_BLOCK and K_VECS_PER_BLOCK template parameters in lightning indexer kernels to avoid duplication of constants.

* cuda : relax MMA architecture requirements to Turing in lightning indexer implementation

* chore : renamed variables

* chore : rename ggml_cuda_op_lightning_indexer() to ggml_cuda_lightning_indexer()

* chore : TODO for AMD rocWMMA

* chore : whitespace formatting

* chore : another variable rename to fix problems caused by shadowing

* chore : yet another rename, this time uppercased all constants

* cuda : added alignment checks for Q and K tensors in lightning indexer implementation

---------

Co-authored-by: Stanisław Szymczyk <redacted>
ggml/src/ggml-cuda/ggml-cuda.cu
ggml/src/ggml-cuda/lightning-indexer.cu [new file with mode: 0644]
ggml/src/ggml-cuda/lightning-indexer.cuh [new file with mode: 0644]