]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
metal : initial Metal4 tensor API support (llama/16634)
authorGeorgi Gerganov <redacted>
Thu, 6 Nov 2025 12:45:10 +0000 (14:45 +0200)
committerGeorgi Gerganov <redacted>
Sun, 9 Nov 2025 21:38:03 +0000 (23:38 +0200)
commit32ed574370f0c67a6c9d0b7191d297800ce4b694
tree0226702b6ed272b8b9d2d516ce5048caa37f7afb
parent45588b272edf0456f52fca8f4589bf9f5a14d237
metal : initial Metal4 tensor API support (llama/16634)

* metal : rework mat-mat multiplication

* metal : initial Metal4 support

* cont

* metal : detect tensor support

* cont : better ifdefs

* metal : support tensors in mul_mm_id

* metal : add env for disabling tensor API

* tests : restore

* metal : remove unused constants

* metal : fix check for bfloat tensor support

* cont : handle API incompatibilities

* cont : handle even more incompatibilities

* metal : use tensor API only on M5 and later
ggml/src/ggml-metal/ggml-metal-context.m
ggml/src/ggml-metal/ggml-metal-device.h
ggml/src/ggml-metal/ggml-metal-device.m
ggml/src/ggml-metal/ggml-metal.metal