]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml : group all experts in a single ggml_mul_mat_id (llama/6505)
authorslaren <redacted>
Thu, 18 Apr 2024 13:18:48 +0000 (15:18 +0200)
committerGeorgi Gerganov <redacted>
Mon, 13 May 2024 08:02:26 +0000 (11:02 +0300)
commitc96b0a938ed330eed197ae930ea21f8b19cd6191
treed42b30fa1f79c5cb5d46d879c52c4e114a8b08d0
parentc97796aa0f7534e45e58aa30f5ab569c56b91db3
ggml : group all experts in a single ggml_mul_mat_id (llama/6505)

* ggml : group all experts in a single ggml_mul_mat_id
cuda : improve mmid row copy

* cuda : fix bin bcast with non-cont src0

* test-backend-ops : only run all mul mat tests for base types

* llama : disable moe offloading with SYCL

---------

Co-authored-by: Georgi Gerganov <redacted>
ggml-cuda.cu
ggml-cuda/binbcast.cu
ggml-cuda/convert.cu
ggml-metal.m
ggml-metal.metal
ggml-sycl.cpp
ggml.c
ggml.h