]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
metal : make the backend async (#15906)
authorGeorgi Gerganov <redacted>
Wed, 10 Sep 2025 14:52:35 +0000 (17:52 +0300)
committerGitHub <redacted>
Wed, 10 Sep 2025 14:52:35 +0000 (17:52 +0300)
commit0f0a3c2851134d49955f3c85afbb0b1bb47c3e07
tree96249856636790c69b763d5c8a53f00660a55a27
parent33daece86b65607451d0d4378d2d04ba6a20ad55
metal : make the backend async (#15906)

* metal : make the backend async

ggml-ci

* cont : add comments, extend op offload, clean up

ggml-ci

* metal : fix batch size for MUL_MAT_ID

* metal : remove deprecated ggml_backend_metal_buffer_from_ptr

* metal : create only metal buffers, no wrapping of host memory

ggml-ci

* metal : restore .alloc_buffer for buffer_from_ptr_type

ggml-ci

* metal : remove broken implementation of GGML_OP_SET

ggml-ci

* metal : clean-up loose ends, ready for tests

ggml-ci

* metal : support both private and shared buffers

ggml-ci

* metal : enable private buffers + add global device queue

* metal : disable host buffer to prevent races

ggml-ci

* metal : avoid extra copy during set_tensor

ggml-ci

* metal : use separate buffer types for shread and private Metal buffers

ggml-ci

* metal : simplify synchronization logic

ggml-ci

* metal : fix build

ggml-ci

* metal : do not implement cpy_tensor

ggml-ci

* metal : separate implementations for shared and private buffers

ggml-ci
ggml/include/ggml-metal.h
ggml/src/ggml-metal/ggml-metal.m
ggml/src/ggml-metal/ggml-metal.metal