]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
cuda : enable CUDA Graph on CUDA Toolkit < 12.x (llama/12394)
authorGaurav Garg <redacted>
Mon, 17 Mar 2025 18:25:13 +0000 (23:55 +0530)
committerGeorgi Gerganov <redacted>
Thu, 27 Mar 2025 07:35:24 +0000 (09:35 +0200)
commit75ddfe4fa97ce6cbc627c3040467e6d63db86fd7
treeccb3e5458ec831ea2d1a77d4471ed0c1cf10a19d
parent7b4d591333a839b6c562370f661f0215eefea8c5
cuda : enable CUDA Graph on CUDA Toolkit < 12.x (llama/12394)

* Enable CUDA Graph on CTK < 12.x

`cudaGraphExecUpdate` API was changed on 12.x. For this reason CUDA graph support was disabled on older CUDA toolkit. This change enables CUDA support in CTK version < 12.x by using older API if CTK < 12.x.

* Fix compilation errors with MUSA

* Disable CUDA Graph for MUSA
src/ggml-cuda/common.cuh
src/ggml-cuda/ggml-cuda.cu
src/ggml-cuda/vendors/hip.h
src/ggml-cuda/vendors/musa.h
src/ggml-musa/CMakeLists.txt