]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
ggml : add metal backend registry / device (llama/9713)
authorGeorgi Gerganov <redacted>
Mon, 7 Oct 2024 15:27:51 +0000 (18:27 +0300)
committerGeorgi Gerganov <redacted>
Wed, 16 Oct 2024 08:28:38 +0000 (11:28 +0300)
commitcd09b8f54599524fbbc58e32aabd1c18d2894f79
treeb72251e595ae6fe786a62df17157126ce62ddea7
parent89db9766ae28b2dc712296e41226ffe6bdb623a7
ggml : add metal backend registry / device (llama/9713)

* ggml : add metal backend registry / device

ggml-ci

* metal : fix names [no ci]

* metal : global registry and device instances

ggml-ci

* cont : alternative initialization of global objects

ggml-ci

* llama : adapt to backend changes

ggml-ci

* fixes

* metal : fix indent

* metal : fix build when MTLGPUFamilyApple3 is not available

ggml-ci

* fix merge

* metal : avoid unnecessary singleton accesses

ggml-ci

* metal : minor fix [no ci]

* metal : g_state -> g_ggml_ctx_dev_main [no ci]

* metal : avoid reference of device context in the backend context

ggml-ci

* metal : minor [no ci]

* metal : fix maxTransferRate check

* metal : remove transfer rate stuff

---------

Co-authored-by: slaren <redacted>
include/ggml-backend.h
include/ggml-metal.h
src/ggml-backend.cpp
src/ggml-cuda.cu
src/ggml-metal.m