]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
metal : enable shader debugging (cmake option) (llama/4705)
authorGeorgi Gerganov <redacted>
Tue, 2 Jan 2024 08:57:44 +0000 (10:57 +0200)
committerGeorgi Gerganov <redacted>
Wed, 3 Jan 2024 12:43:51 +0000 (14:43 +0200)
commit1e5544b39bf766e2d1af29f7eb8459e65848b32b
tree4b2caa66f43b8fa8ab901ce226608284d3150eed
parentd5673af79f13bada7701d570b96792fbb3048211
metal : enable shader debugging (cmake option) (llama/4705)

* ggml : disable fast-math for Metal (cmake build only)

ggml-ci

* metal : fix Metal API debug warnings

* cmake : add -fno-inline for Metal build (llama/4545)

* metal : fix API debug warnings

* metal : fix compile warnings

* metal : use uint64_t for strides

* cmake : rename option to LLAMA_METAL_SHADER_DEBUG

* metal : fix mat-vec Q8_0 kernel for BS > 1

* metal : normalize mat-vec kernel signatures

* cmake : respect LLAMA_QKK_64 option

* metal : fix mat-vec Q4_K kernel for QK_K == 64

ggml-ci
ggml-metal.m
ggml-metal.metal