]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml : add metal backend registry / device (llama/9713)
authorGeorgi Gerganov <redacted>
Mon, 7 Oct 2024 15:27:51 +0000 (18:27 +0300)
committerGeorgi Gerganov <redacted>
Fri, 1 Nov 2024 08:19:05 +0000 (10:19 +0200)
commit315364d7de40fec0541d6e8894f47e3a929488b1
treec7ee24d82115495294a2a17f7bf75c36ffbda072
parent80753d4da8cd161eb8d87bf8df90c777d537e906
ggml : add metal backend registry / device (llama/9713)

* ggml : add metal backend registry / device

ggml-ci

* metal : fix names [no ci]

* metal : global registry and device instances

ggml-ci

* cont : alternative initialization of global objects

ggml-ci

* llama : adapt to backend changes

ggml-ci

* fixes

* metal : fix indent

* metal : fix build when MTLGPUFamilyApple3 is not available

ggml-ci

* fix merge

* metal : avoid unnecessary singleton accesses

ggml-ci

* metal : minor fix [no ci]

* metal : g_state -> g_ggml_ctx_dev_main [no ci]

* metal : avoid reference of device context in the backend context

ggml-ci

* metal : minor [no ci]

* metal : fix maxTransferRate check

* metal : remove transfer rate stuff

---------

Co-authored-by: slaren <redacted>
ggml/include/ggml-backend.h
ggml/include/ggml-metal.h
ggml/src/ggml-backend.cpp
ggml/src/ggml-cuda.cu
ggml/src/ggml-metal.m