]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
overview / pkg / ggml / sources / ggml / commit
summary | shortlog | log | commit | commitdiff | tree
(parent: bb6ab71)
Vulkan Bugfixes and Improvements (llama/7084)
author0cc4m <redacted>
Thu, 9 May 2024 18:39:54 +0000 (20:39 +0200)
committerGeorgi Gerganov <redacted>
Sat, 11 May 2024 18:30:08 +0000 (21:30 +0300)
commite64325ebc706f244ba4029665f51fc59188ff1bd
treea05764a301cbb868941337cef2adf2ed2f29dc3dtree
parentbb6ab7168ffbc525a6936860102299990dfb03c1commit | diff
Vulkan Bugfixes and Improvements (llama/7084)

* Modify mat mat mul shader for mul_mat_id, modify mat vec mul shaders for single call batch operation

* Further work towards MoE, disabled for now

* Disable MoE code (not ready yet), fix a number of bugs in shaders and Vulkan code

* Add softmax with f16 mask and pos buffer support

* Disable mul_mat_id shaders for now

* Fix flake8

* Fix validation errors caused by empty buffers on larger batch sizes
src/ggml-vulkan.cpp diff | blob | history
Packaging of ggml-org/ggml