]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
metal : add memory pool for temp allocs (#12850)
authorGeorgi Gerganov <redacted>
Tue, 22 Apr 2025 13:15:51 +0000 (16:15 +0300)
committerGitHub <redacted>
Tue, 22 Apr 2025 13:15:51 +0000 (16:15 +0300)
commit7b53389c24a507564be39e1ea82746a39749059b
tree1502a3f6c365011d583e1b3057717704c4dd26a3
parent243453533e029334181dda50d911d5fc5a2b2486
metal : add memory pool for temp allocs (#12850)

* metal : add memory pool for temp allocs (wip) [no ci]

* cont : free buffers from the heap

* cont : resize heap [no ci]

* cont : refactor heap [no ci]

* cont : heap for each cmd buffer [no ci]

* cont : fix free

* wip

* cont : fix alignment [no ci]

* cont : not working .. [no ci]

* cont : heap allocation now works [no ci]

* cont : use MTLHeapTypePlacement

ggml-ci

* metal : use dynamic MTLHeap allocations

ggml-ci

* metal : add comments

* metal : disable softmax use of mem_pool

ggml-ci

* metal : final touches
ggml/src/ggml-metal/ggml-metal.m