]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
metal : extend mat-mat multiplication support (#16225)
authorGeorgi Gerganov <redacted>
Sun, 28 Sep 2025 06:34:44 +0000 (09:34 +0300)
committerGitHub <redacted>
Sun, 28 Sep 2025 06:34:44 +0000 (09:34 +0300)
commit6a2c6145a0b91b40eb3c3dba7b20ccc4b270490f
tree98bc86e584c0110f9141441ac5daa31a2ebbc648
parent3b53634fe35771e2e318227aa81585726bae7234
metal : extend mat-mat multiplication support (#16225)

* metal : support mul_mm with src1->type == GGML_TYPE_F16

* metal : support mul_mm_id with src1->type == GGML_TYPE_F16

[no ci]

* metal : mul_mm support ne00 % 32 != 0

* metal : support mul_mm_id with ne00 % 32 != 0

* cont : remove unnecessary unrolls

* cont : simplify data loading

* metal : optimize mul_mm when output bounds checks are not needed
ggml/src/ggml-metal/ggml-metal-device.cpp
ggml/src/ggml-metal/ggml-metal-device.h
ggml/src/ggml-metal/ggml-metal-device.m
ggml/src/ggml-metal/ggml-metal-impl.h
ggml/src/ggml-metal/ggml-metal-ops.cpp
ggml/src/ggml-metal/ggml-metal.metal
tests/test-backend-ops.cpp