]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
metal : enable shader debugging (cmake option) (#4705)
authorGeorgi Gerganov <redacted>
Tue, 2 Jan 2024 08:57:44 +0000 (10:57 +0200)
committerGitHub <redacted>
Tue, 2 Jan 2024 08:57:44 +0000 (10:57 +0200)
commit58ba655af054715c0516ee270ad028ad9e74f357
tree4bdb0c8a89cefc2c945e0d3a1008cc6bda38e2ad
parentedd1ab7bc34c10a780ee7f9a4499f7689cdad36d
metal : enable shader debugging (cmake option) (#4705)

* ggml : disable fast-math for Metal (cmake build only)

ggml-ci

* metal : fix Metal API debug warnings

* cmake : add -fno-inline for Metal build (#4545)

* metal : fix API debug warnings

* metal : fix compile warnings

* metal : use uint64_t for strides

* cmake : rename option to LLAMA_METAL_SHADER_DEBUG

* metal : fix mat-vec Q8_0 kernel for BS > 1

* metal : normalize mat-vec kernel signatures

* cmake : respect LLAMA_QKK_64 option

* metal : fix mat-vec Q4_K kernel for QK_K == 64

ggml-ci
CMakeLists.txt
ci/run.sh
ggml-metal.m
ggml-metal.metal
tests/test-backend-ops.cpp