]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
metal : improve FA + improve MoE (llama/12612)
authorGeorgi Gerganov <redacted>
Fri, 28 Mar 2025 18:21:59 +0000 (20:21 +0200)
committerGeorgi Gerganov <redacted>
Fri, 28 Mar 2025 18:57:36 +0000 (20:57 +0200)
commit3053e57643c20dbca71bfefd0c7fac5e22ceefad
treef2a2f4a6587698e8da7e151523e3bd0b37712474
parenta31c1d76d688eff4458871112bf86ef403aeca65
metal : improve FA + improve MoE (llama/12612)

* ggml : FA with different K, V head sizes (CPU)

ggml-ci

* metal : add FA with HS=192

* metal : extend FA to support different K and V head sizes

ggml-ci

* metal : add FA vector kernels for heads K 192 and V 128

ggml-ci

* ggml : restrict op on other backends to equal head sizes

ggml-ci

* metal : optimize FA-vec kernel

ggml-ci

* metal : FA remove mq registers

* metal : improve MoE mul_mat_id condition

ggml-ci

* metal : fix comments + remove unnecessary addition

ggml-ci

* metal : avoid too much shared memory usage with mul_mat_id

ggml-ci
include/ggml.h
src/ggml-cpu/ggml-cpu.c
src/ggml-cuda/ggml-cuda.cu
src/ggml-metal/ggml-metal-impl.h
src/ggml-metal/ggml-metal.m
src/ggml-metal/ggml-metal.metal
src/ggml-vulkan/ggml-vulkan.cpp
src/ggml.c
tests/test-backend-ops.cpp