]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
Basic Vulkan Multi-GPU implementation (llama/5321)
author0cc4m <redacted>
Wed, 7 Feb 2024 06:54:50 +0000 (07:54 +0100)
committerGeorgi Gerganov <redacted>
Sat, 10 Feb 2024 07:55:47 +0000 (09:55 +0200)
commitef5e6b746fab1951e343a7f30865dade727da297
tree71de048b7b5d13bd048f9a15ef721304c9142d28
parent77bf6b5f56d2432b231aba50051c15de9ad40405
Basic Vulkan Multi-GPU implementation (llama/5321)

* Initial Vulkan multi-gpu implementation

Move most global variables into backend context

* Add names to backend device functions

* Add further missing cleanup code

* Reduce code duplication in tensor split layer assignment

* generalize LLAMA_SPLIT_LAYER for all backends, do not expose device count and memory in llama.h

* Only do device info print in the beginning and initialize one backend for cpu assist

Add missing cleanup code

* Rework backend memory management to make sure devices and buffers get properly allocated and freed

* Rename cpu assist free function

---------

Co-authored-by: slaren <redacted>
ggml.c