]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
metal : allow ops to run concurrently (llama/15929)
authorGeorgi Gerganov <redacted>
Sat, 13 Sep 2025 10:54:28 +0000 (13:54 +0300)
committerGeorgi Gerganov <redacted>
Sat, 20 Sep 2025 10:45:29 +0000 (13:45 +0300)
commit0d36ba9e1a7e71451b22e94be00b10c0ac12b311
treee3619be4ec5f27b2656a3e29dbc3ecb2a3b04cd9
parent20a930ec946a41312f5fb635274eba2aadaa970b
metal : allow ops to run concurrently (llama/15929)

* metal : run graphs ops concurrently

ggml-ci

* cont : add flags for debugging and disabling concurrency

ggml-ci

* cont : refactor and handle fusing

ggml-ci

* cont : simplify - no need to use GPU address

ggml-ci

* cont : prepare mem ranges for reuse + add ggml-metal-common.cpp

ggml-ci

* cont : avoid redundant keywords in cpp [no ci]

* metal : reorder graph for better concurrency

ggml-ci

* metal : fix race on mem pool buffers

ggml-ci

* cont : add env GGML_METAL_GRAPH_OPTIMIZE_DISABLE

ggml-ci

* cont : refactor, optimize, add comments

ggml-ci

* cont : refactor ggml-metal.m

ggml-ci

* minor : update logs [no ci]
ggml/src/ggml-metal/CMakeLists.txt
ggml/src/ggml-metal/ggml-metal-common.cpp [new file with mode: 0644]
ggml/src/ggml-metal/ggml-metal-common.h [new file with mode: 0644]
ggml/src/ggml-metal/ggml-metal.m