]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
ggml: add env var GGML_OP_OFFLOAD_MIN_BATCH (llama/18535)
authorDoctor Shotgun <redacted>
Thu, 8 Jan 2026 09:03:21 +0000 (01:03 -0800)
committerGeorgi Gerganov <redacted>
Sun, 11 Jan 2026 09:02:08 +0000 (11:02 +0200)
commitbce8a97cab5949335f19164948ff86f596d0988f
tree55a3916d6b9b63f8c4c1b1a13fda88cab61ab458
parent3354cf56c073c27d21b8b72660d20ea1a0f4aa7a
ggml: add env var GGML_OP_OFFLOAD_MIN_BATCH (llama/18535)

* ggml: add env var GGML_OP_OFFLOAD_MIN_BATCH
* makes the min_batch_size for triggering op offload configurable via env var, defaulting to the prior hardcoded value of 32

* ggml: read GGML_OP_OFFLOAD_MIN_BATCH once and store to dev ctx

* cann: forward declaration of device context struct

* cann: move offload op check after device context declaration

* cuda: fix whitespace

Co-authored-by: Aman Gupta <redacted>
---------

Co-authored-by: Aman Gupta <redacted>
src/ggml-cann/ggml-cann.cpp
src/ggml-cuda/ggml-cuda.cu
src/ggml-metal/ggml-metal-device.h
src/ggml-metal/ggml-metal-device.m
src/ggml-metal/ggml-metal.cpp
src/ggml-sycl/ggml-sycl.cpp
src/ggml-vulkan/ggml-vulkan.cpp