]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
metal : allow ops to run concurrently (#15929)
authorGeorgi Gerganov <redacted>
Sat, 13 Sep 2025 10:54:28 +0000 (13:54 +0300)
committerGitHub <redacted>
Sat, 13 Sep 2025 10:54:28 +0000 (13:54 +0300)
commitf161463a54d9f93d41246286aa4a9569a91d804d
tree223598bfd1e1066ba7b3ab8967324e27ccfac455
parent84d7b2fca11d1be118ce776f6d72a486c4883b74
metal : allow ops to run concurrently (#15929)

* metal : run graphs ops concurrently

ggml-ci

* cont : add flags for debugging and disabling concurrency

ggml-ci

* cont : refactor and handle fusing

ggml-ci

* cont : simplify - no need to use GPU address

ggml-ci

* cont : prepare mem ranges for reuse + add ggml-metal-common.cpp

ggml-ci

* cont : avoid redundant keywords in cpp [no ci]

* metal : reorder graph for better concurrency

ggml-ci

* metal : fix race on mem pool buffers

ggml-ci

* cont : add env GGML_METAL_GRAPH_OPTIMIZE_DISABLE

ggml-ci

* cont : refactor, optimize, add comments

ggml-ci

* cont : refactor ggml-metal.m

ggml-ci

* minor : update logs [no ci]
ggml/src/ggml-metal/CMakeLists.txt
ggml/src/ggml-metal/ggml-metal-common.cpp [new file with mode: 0644]
ggml/src/ggml-metal/ggml-metal-common.h [new file with mode: 0644]
ggml/src/ggml-metal/ggml-metal.m