]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
Basic Vulkan Multi-GPU implementation (llama/5321)
author0cc4m <redacted>
Wed, 7 Feb 2024 06:54:50 +0000 (07:54 +0100)
committerGeorgi Gerganov <redacted>
Sat, 10 Feb 2024 07:30:58 +0000 (09:30 +0200)
commit1c8791cdf2087a1d7bd3696e64569b60e2fce75e
tree9e13be7387f9e26b09dbe423a10646cca1b16dbc
parent14541b44824336eb7867731a5d6ae3ccd235ca3b
Basic Vulkan Multi-GPU implementation (llama/5321)

* Initial Vulkan multi-gpu implementation

Move most global variables into backend context

* Add names to backend device functions

* Add further missing cleanup code

* Reduce code duplication in tensor split layer assignment

* generalize LLAMA_SPLIT_LAYER for all backends, do not expose device count and memory in llama.h

* Only do device info print in the beginning and initialize one backend for cpu assist

Add missing cleanup code

* Rework backend memory management to make sure devices and buffers get properly allocated and freed

* Rename cpu assist free function

---------

Co-authored-by: slaren <redacted>
ggml-vulkan.cpp
ggml-vulkan.h
src/ggml.c