]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
cuda: reset cuda context after reading memory size (llama/23935)
authorRuben Ortlam <redacted>
Mon, 8 Jun 2026 08:22:44 +0000 (10:22 +0200)
committerGeorgi Gerganov <redacted>
Mon, 15 Jun 2026 07:33:53 +0000 (10:33 +0300)
commit782f1226c8d9c49a6c64d654bacfe15531913a6c
tree9e3a3b92058ccd73ad6de433d688cf5fa80ba1d5
parentdf7638d8229a243af8a4b5a8ae557e0d74e0a0ae
cuda: reset cuda context after reading memory size (llama/23935)

* cuda: reset device in get_memory function if no backend is active

* also count device and host buffers

* exclude hip and musa from counting and device reset

* use device mutex instead of atomic

* undo backend_free function move
ggml/src/ggml-cuda/ggml-cuda.cu