]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
Vulkan Bugfixes and Improvements (llama/7084)
author0cc4m <redacted>
Thu, 9 May 2024 18:39:54 +0000 (20:39 +0200)
committerGeorgi Gerganov <redacted>
Mon, 13 May 2024 08:02:26 +0000 (11:02 +0300)
commitc114b75aeecdb6220f14fcd1d20169995d49acce
treeec43ffbdd4384457802985c2f7458b4d92ceac5d
parent4be936b88ba64faa027fca89af5e2cfcaa64e926
Vulkan Bugfixes and Improvements (llama/7084)

* Modify mat mat mul shader for mul_mat_id, modify mat vec mul shaders for single call batch operation

* Further work towards MoE, disabled for now

* Disable MoE code (not ready yet), fix a number of bugs in shaders and Vulkan code

* Add softmax with f16 mask and pos buffer support

* Disable mul_mat_id shaders for now

* Fix flake8

* Fix validation errors caused by empty buffers on larger batch sizes
ggml-vulkan.cpp