]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
ggml-cpu: Enable tiled matmul on AIX (#25199)
authorshalinib-ibm <redacted>
Mon, 6 Jul 2026 10:18:17 +0000 (15:48 +0530)
committerGitHub <redacted>
Mon, 6 Jul 2026 10:18:17 +0000 (18:18 +0800)
commit3b4fca11ac1b0ded8fabbfad7d1f386d2d24e852
treed4d79b9232189535258eb93810588b083dfc0e70
parent86961efd5675279a4ec2f3d1a3c7d6e3803c1935
ggml-cpu: Enable tiled matmul on AIX (#25199)

The matmul_tiled path uses large local stack buffers for A_pack and B_pack. On AIX this can trigger a segmentation fault, so reduce the buffer footprint there to keep the tiled path usable.

 Performance Impact:
    ~ 2x gains in PP_Speed for FP32, Q4_0 and Q8_0 models tested with llama-bench, llama-batched-bench and llama-cli.
    Models used: Llama3.2 3b Instruct F32, qwen 2.5 3b Q4_0 and Q8_0
ggml/src/ggml-cpu/llamafile/sgemm.cpp