]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
cuda : enable CUDA Graph on CUDA Toolkit < 12.x (llama/12394)
authorGaurav Garg <redacted>
Mon, 17 Mar 2025 18:25:13 +0000 (23:55 +0530)
committerGeorgi Gerganov <redacted>
Thu, 27 Mar 2025 09:06:03 +0000 (11:06 +0200)
commitcfc2560e419dddcf89bf3fb498c4e0c8807f6b2f
treeca3fb8ce526fe7bd1f6f030e2d99ce1f7312b7a2
parentdb6e8056b5b851e556895790579d942469b42176
cuda : enable CUDA Graph on CUDA Toolkit < 12.x (llama/12394)

* Enable CUDA Graph on CTK < 12.x

`cudaGraphExecUpdate` API was changed on 12.x. For this reason CUDA graph support was disabled on older CUDA toolkit. This change enables CUDA support in CTK version < 12.x by using older API if CTK < 12.x.

* Fix compilation errors with MUSA

* Disable CUDA Graph for MUSA
ggml/src/ggml-cuda/common.cuh
ggml/src/ggml-cuda/ggml-cuda.cu
ggml/src/ggml-cuda/vendors/hip.h
ggml/src/ggml-cuda/vendors/musa.h
ggml/src/ggml-musa/CMakeLists.txt