]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
metal : allow ops to run concurrently (llama/15929)
authorGeorgi Gerganov <redacted>
Sat, 13 Sep 2025 10:54:28 +0000 (13:54 +0300)
committerGeorgi Gerganov <redacted>
Sat, 20 Sep 2025 10:33:50 +0000 (13:33 +0300)
commit0cf545941e739639e9b21d5ba6410daa67baa203
treeaa8406587acc0aa55c171526b5dbe65f90beb40c
parent6697533f0f70a0f2f94eb7db3b21b10462c8161d
metal : allow ops to run concurrently (llama/15929)

* metal : run graphs ops concurrently

ggml-ci

* cont : add flags for debugging and disabling concurrency

ggml-ci

* cont : refactor and handle fusing

ggml-ci

* cont : simplify - no need to use GPU address

ggml-ci

* cont : prepare mem ranges for reuse + add ggml-metal-common.cpp

ggml-ci

* cont : avoid redundant keywords in cpp [no ci]

* metal : reorder graph for better concurrency

ggml-ci

* metal : fix race on mem pool buffers

ggml-ci

* cont : add env GGML_METAL_GRAPH_OPTIMIZE_DISABLE

ggml-ci

* cont : refactor, optimize, add comments

ggml-ci

* cont : refactor ggml-metal.m

ggml-ci

* minor : update logs [no ci]
src/ggml-metal/CMakeLists.txt
src/ggml-metal/ggml-metal-common.cpp [new file with mode: 0644]
src/ggml-metal/ggml-metal-common.h [new file with mode: 0644]
src/ggml-metal/ggml-metal.m