]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
metal : optimize ggml_mul_mat_id (faster Mixtral PP) (llama/4725)
authorGeorgi Gerganov <redacted>
Tue, 2 Jan 2024 19:07:47 +0000 (21:07 +0200)
committerGeorgi Gerganov <redacted>
Wed, 3 Jan 2024 12:43:51 +0000 (14:43 +0200)
commitf38c057503827a9248f740ca7a1e3dfb937d4876
tree540130a1795e74b73fab0e52820e5c93f269c2da
parent1e5544b39bf766e2d1af29f7eb8459e65848b32b
metal : optimize ggml_mul_mat_id (faster Mixtral PP) (llama/4725)

* ggml : disable fast-math for Metal (cmake build only)

ggml-ci

* metal : fix Metal API debug warnings

* cmake : add -fno-inline for Metal build (llama/4545)

* metal : fix API debug warnings

* metal : fix compile warnings

* metal : use uint64_t for strides

* cmake : rename option to LLAMA_METAL_SHADER_DEBUG

* metal : fix mat-vec Q8_0 kernel for BS > 1

* metal : normalize mat-vec kernel signatures

* cmake : respect LLAMA_QKK_64 option

* metal : fix mat-vec Q4_K kernel for QK_K == 64

* metal : optimizing ggml_mul_mat_id (wip)

* metal : minor fix

* metal : opt mul_mm_id
ggml-metal.m
ggml-metal.metal