]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
metal : enable shader debugging (cmake option) (llama/4705)
authorGeorgi Gerganov <redacted>
Tue, 2 Jan 2024 08:57:44 +0000 (10:57 +0200)
committerGeorgi Gerganov <redacted>
Wed, 3 Jan 2024 12:20:04 +0000 (14:20 +0200)
commit9c60bcde28e4f3d658d638ec22ae01f71d67936a
treea4315a632fdbc006f6d1c6b6105dcdb571c357ca
parent3f357b9a990ea192593f42f8d73b56e007288cf4
metal : enable shader debugging (cmake option) (llama/4705)

* ggml : disable fast-math for Metal (cmake build only)

ggml-ci

* metal : fix Metal API debug warnings

* cmake : add -fno-inline for Metal build (llama/4545)

* metal : fix API debug warnings

* metal : fix compile warnings

* metal : use uint64_t for strides

* cmake : rename option to LLAMA_METAL_SHADER_DEBUG

* metal : fix mat-vec Q8_0 kernel for BS > 1

* metal : normalize mat-vec kernel signatures

* cmake : respect LLAMA_QKK_64 option

* metal : fix mat-vec Q4_K kernel for QK_K == 64

ggml-ci
src/ggml-metal.m
src/ggml-metal.metal
tests/test-backend-ops.cpp