]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
ggml : add metal backend registry / device (#9713)
authorGeorgi Gerganov <redacted>
Mon, 7 Oct 2024 15:27:51 +0000 (18:27 +0300)
committerGitHub <redacted>
Mon, 7 Oct 2024 15:27:51 +0000 (18:27 +0300)
commitd5ac8cf2f2e30459489e6721a17d15b92a0c42a6
treeb88d8ee3657c6c28e90a48f4869f2c5ecde8e51a
parent96b69121033d2b6b951d1b6b1b43f8b4f97dac99
ggml : add metal backend registry / device (#9713)

* ggml : add metal backend registry / device

ggml-ci

* metal : fix names [no ci]

* metal : global registry and device instances

ggml-ci

* cont : alternative initialization of global objects

ggml-ci

* llama : adapt to backend changes

ggml-ci

* fixes

* metal : fix indent

* metal : fix build when MTLGPUFamilyApple3 is not available

ggml-ci

* fix merge

* metal : avoid unnecessary singleton accesses

ggml-ci

* metal : minor fix [no ci]

* metal : g_state -> g_ggml_ctx_dev_main [no ci]

* metal : avoid reference of device context in the backend context

ggml-ci

* metal : minor [no ci]

* metal : fix maxTransferRate check

* metal : remove transfer rate stuff

---------

Co-authored-by: slaren <redacted>
ggml/include/ggml-backend.h
ggml/include/ggml-metal.h
ggml/src/ggml-backend.cpp
ggml/src/ggml-cuda.cu
ggml/src/ggml-metal.m
src/llama.cpp