]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
metal : add BF16 support (llama/8439)
authorGeorgi Gerganov <redacted>
Wed, 6 Nov 2024 17:53:51 +0000 (19:53 +0200)
committerGeorgi Gerganov <redacted>
Fri, 15 Nov 2024 13:21:04 +0000 (15:21 +0200)
commit31c3482a4ea8b63c9f7a165f1f960d3023c17cb6
treec1f6708d2270b5102cfcd2094a395969e693e629
parent50257af6861d87d878d1bcd37cc9e7c43f3fb0e5
metal : add BF16 support (llama/8439)

* ggml : add initial BF16 support

ggml-ci

* metal : add mul_mat_id BF16 support

ggml-ci

* metal : check for bfloat support on the Metal device

ggml-ci

* metal : better var names [no ci]

* metal : do not build bfloat kernels when not supported

ggml-ci

* metal : try to fix BF16 support check

ggml-ci

* metal : this should correctly check bfloat support
ggml/src/ggml-metal.m
ggml/src/ggml-metal.metal