]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml: add env var GGML_OP_OFFLOAD_MIN_BATCH (llama/18535)
authorDoctor Shotgun <redacted>
Thu, 8 Jan 2026 09:03:21 +0000 (01:03 -0800)
committerGeorgi Gerganov <redacted>
Wed, 14 Jan 2026 07:11:59 +0000 (09:11 +0200)
commitb9965c89a1c4fea45eccc83d2b4dcb4c9402a273
tree07335c85542b483d40ecfb13ea4ce72241dd1b80
parent85a329cb08064815dac5adfec2a73adb66abd966
ggml: add env var GGML_OP_OFFLOAD_MIN_BATCH (llama/18535)

* ggml: add env var GGML_OP_OFFLOAD_MIN_BATCH
* makes the min_batch_size for triggering op offload configurable via env var, defaulting to the prior hardcoded value of 32

* ggml: read GGML_OP_OFFLOAD_MIN_BATCH once and store to dev ctx

* cann: forward declaration of device context struct

* cann: move offload op check after device context declaration

* cuda: fix whitespace

Co-authored-by: Aman Gupta <redacted>
---------

Co-authored-by: Aman Gupta <redacted>
ggml/src/ggml-cann/ggml-cann.cpp
ggml/src/ggml-cuda/ggml-cuda.cu
ggml/src/ggml-metal/ggml-metal-device.h
ggml/src/ggml-metal/ggml-metal-device.m
ggml/src/ggml-metal/ggml-metal.cpp
ggml/src/ggml-sycl/ggml-sycl.cpp
ggml/src/ggml-vulkan/ggml-vulkan.cpp