]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
opencl: allow loading precompiled binary kernels from library (#23042)
authorlhez <redacted>
Wed, 1 Jul 2026 17:29:22 +0000 (10:29 -0700)
committerGitHub <redacted>
Wed, 1 Jul 2026 17:29:22 +0000 (10:29 -0700)
commit4fc4ec5541b243957ae5099edb67372f8f3b550e
tree590ed9341c0cabed1e41f669e139ceb04d176c07
parenta6647b1a32f2ee456abff98ee2db15ed6e957c74
opencl: allow loading precompiled binary kernels from library (#23042)

* opencl: allow loading binary kernel

* opencl: add libdl.h

* ggml-backend-dl is in ggml, which depends backend libs, thus
  ggml-opencl cannot depend on ggml-backend-dl
* add libdl.h to break cyclic dep

* opencl: allow loading bin kernel lib

* opencl: load `gemm_moe_mxfp4_f32_ns` from kernel lib if available

* opencl: load q8_0 gemm from kernel lib

* opencl: load q4_0 moe gemm from kernel lib

* opencl: load q4_1 moe gemm from kernel lib

* opencl: load q4_k moe gemm from kernel lib

* opencl: always declare `get_adreno_bin_kernel_func_t`

* opencl: rephrase message

* opencl: fix for rebase

* opencl: update doc
docs/backend/OPENCL.md
ggml/src/ggml-opencl/CMakeLists.txt
ggml/src/ggml-opencl/ggml-opencl.cpp
ggml/src/ggml-opencl/libdl.h [new file with mode: 0644]