]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
metal : improve F32, F16 and BF16 mat-vec multiplication (llama/16057)
authorGeorgi Gerganov <redacted>
Thu, 18 Sep 2025 09:33:45 +0000 (12:33 +0300)
committerGeorgi Gerganov <redacted>
Sat, 20 Sep 2025 10:33:50 +0000 (13:33 +0300)
commita91932ac0edbaa14a2b1e143a92980d05ef1f8de
treed39afa71411921ad28aa2bdc350ae45b647beab6
parent68d648b6045660b397dccf6de4846569e68dc4a5
metal : improve F32, F16 and BF16 mat-vec multiplication (llama/16057)

* metal : improve F32, F16 and BF16 mat-vec multiplication

ggml-ci

* metal : make the NSG a function constant in mul_mv kernels

ggml-ci
src/ggml-metal/ggml-metal-device.cpp
src/ggml-metal/ggml-metal-device.h
src/ggml-metal/ggml-metal-device.m
src/ggml-metal/ggml-metal-impl.h
src/ggml-metal/ggml-metal-ops.cpp
src/ggml-metal/ggml-metal.metal