]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
metal : improve F32, F16 and BF16 mat-vec multiplication (#16057)
authorGeorgi Gerganov <redacted>
Thu, 18 Sep 2025 09:33:45 +0000 (12:33 +0300)
committerGitHub <redacted>
Thu, 18 Sep 2025 09:33:45 +0000 (12:33 +0300)
commitb213fce89bee8cb56b587b91e15a4278f8ed0180
treeee1300a9f000cd4c84928832643086d638dd7f70
parente00f3fd8fff2cf5a8c8c9f475034bd089c8bcce4
metal : improve F32, F16 and BF16 mat-vec multiplication (#16057)

* metal : improve F32, F16 and BF16 mat-vec multiplication

ggml-ci

* metal : make the NSG a function constant in mul_mv kernels

ggml-ci
ggml/src/ggml-metal/ggml-metal-device.cpp
ggml/src/ggml-metal/ggml-metal-device.h
ggml/src/ggml-metal/ggml-metal-device.m
ggml/src/ggml-metal/ggml-metal-impl.h
ggml/src/ggml-metal/ggml-metal-ops.cpp
ggml/src/ggml-metal/ggml-metal.metal