]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
Vulkan k-quant mmq and ggml-backend offload functionality (llama/6155)
author0cc4m <redacted>
Fri, 29 Mar 2024 16:29:21 +0000 (17:29 +0100)
committerGeorgi Gerganov <redacted>
Sun, 7 Apr 2024 13:15:57 +0000 (16:15 +0300)
commitfa966b9b40f4c01ef11fb6ffacbe9c032682a8a7
treebfce644de2b30eacca7752331971dfb6553747fe
parentb83a9fc9d362bf58a71e440ad2463fbb35a0c159
Vulkan k-quant mmq and ggml-backend offload functionality (llama/6155)

* Fix Vulkan no kv offload incoherence

* Add k-quant mul mat mat shaders

* Rework working buffer allocation, reduces vram use noticeably

Clean up cpu assist code, replaced with ggml-backend offload function

* Default to all dedicated GPUs

* Add fallback for integrated GPUs if no dedicated GPUs are found

* Add debug info which device is allocating memory

* Fix Intel dequant issue

Fix validation issue

* Fix Vulkan GGML_OP_GET_ROWS implementation

* Clean up merge artifacts

* Remove Vulkan warning
ggml-vulkan.cpp
ggml-vulkan.h
ggml.c