]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
opencl: allow loading precompiled binary kernels from library (llama/23042)
authorlhez <redacted>
Wed, 1 Jul 2026 17:29:22 +0000 (10:29 -0700)
committerGeorgi Gerganov <redacted>
Fri, 10 Jul 2026 10:06:42 +0000 (13:06 +0300)
commit759197a754bb377ed8f6650b20b0c32e309b02bd
tree5e2b168abee2f21912d6183101bcb3aa2a450b36
parentcae089f4a1b5370ff717d0a859fb48f4c63bebeb
opencl: allow loading precompiled binary kernels from library (llama/23042)

* opencl: allow loading binary kernel

* opencl: add libdl.h

* ggml-backend-dl is in ggml, which depends backend libs, thus
  ggml-opencl cannot depend on ggml-backend-dl
* add libdl.h to break cyclic dep

* opencl: allow loading bin kernel lib

* opencl: load `gemm_moe_mxfp4_f32_ns` from kernel lib if available

* opencl: load q8_0 gemm from kernel lib

* opencl: load q4_0 moe gemm from kernel lib

* opencl: load q4_1 moe gemm from kernel lib

* opencl: load q4_k moe gemm from kernel lib

* opencl: always declare `get_adreno_bin_kernel_func_t`

* opencl: rephrase message

* opencl: fix for rebase

* opencl: update doc
ggml/src/ggml-opencl/CMakeLists.txt
ggml/src/ggml-opencl/ggml-opencl.cpp
ggml/src/ggml-opencl/libdl.h [new file with mode: 0644]