]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
cuda : enable CUDA Graph on CUDA Toolkit < 12.x (#12394)
authorGaurav Garg <redacted>
Mon, 17 Mar 2025 18:25:13 +0000 (23:55 +0530)
committerGitHub <redacted>
Mon, 17 Mar 2025 18:25:13 +0000 (20:25 +0200)
commitb1b132efcba216c873715c483809730bb253f4a1
treea56cc029281d30459a9f04005a1e64f0b70e5d57
parent01e8f2138b2e40902afe2983ecbf503a08d74b1d
cuda : enable CUDA Graph on CUDA Toolkit < 12.x (#12394)

* Enable CUDA Graph on CTK < 12.x

`cudaGraphExecUpdate` API was changed on 12.x. For this reason CUDA graph support was disabled on older CUDA toolkit. This change enables CUDA support in CTK version < 12.x by using older API if CTK < 12.x.

* Fix compilation errors with MUSA

* Disable CUDA Graph for MUSA
ggml/src/ggml-cuda/common.cuh
ggml/src/ggml-cuda/ggml-cuda.cu
ggml/src/ggml-cuda/vendors/hip.h
ggml/src/ggml-cuda/vendors/musa.h
ggml/src/ggml-musa/CMakeLists.txt