]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
metal : improve F32, F16 and BF16 mat-vec multiplication (llama/16057)
authorGeorgi Gerganov <redacted>
Thu, 18 Sep 2025 09:33:45 +0000 (12:33 +0300)
committerGeorgi Gerganov <redacted>
Sat, 20 Sep 2025 10:46:38 +0000 (13:46 +0300)
commitd37f590a779524efb81115ec49f9265f34da04d9
treef13d655eb6818012180cb42545ce8a051eba8771
parent32b6d9c134eedfb19754f60f5e75c186dbeb70f8
metal : improve F32, F16 and BF16 mat-vec multiplication (llama/16057)

* metal : improve F32, F16 and BF16 mat-vec multiplication

ggml-ci

* metal : make the NSG a function constant in mul_mv kernels

ggml-ci
ggml/src/ggml-metal/ggml-metal-device.cpp
ggml/src/ggml-metal/ggml-metal-device.h
ggml/src/ggml-metal/ggml-metal-device.m
ggml/src/ggml-metal/ggml-metal-impl.h
ggml/src/ggml-metal/ggml-metal-ops.cpp
ggml/src/ggml-metal/ggml-metal.metal