]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
metal : extend mat-mat multiplication support (llama/16225)
authorGeorgi Gerganov <redacted>
Sun, 28 Sep 2025 06:34:44 +0000 (09:34 +0300)
committerGeorgi Gerganov <redacted>
Mon, 29 Sep 2025 09:41:09 +0000 (12:41 +0300)
commit70f554a0acc8d6af025b4e56e906baaefbed2733
tree1ec2349c867f9ce478ac87cfb7d18ace2376eeed
parent5e6f16768ee31c1edd1bacae822c7807c3544612
metal : extend mat-mat multiplication support (llama/16225)

* metal : support mul_mm with src1->type == GGML_TYPE_F16

* metal : support mul_mm_id with src1->type == GGML_TYPE_F16

[no ci]

* metal : mul_mm support ne00 % 32 != 0

* metal : support mul_mm_id with ne00 % 32 != 0

* cont : remove unnecessary unrolls

* cont : simplify data loading

* metal : optimize mul_mm when output bounds checks are not needed
src/ggml-metal/ggml-metal-device.cpp
src/ggml-metal/ggml-metal-device.h
src/ggml-metal/ggml-metal-device.m
src/ggml-metal/ggml-metal-impl.h
src/ggml-metal/ggml-metal-ops.cpp
src/ggml-metal/ggml-metal.metal
tests/test-backend-ops.cpp