]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml-cpu: Enable tiled matmul on AIX (llama/25199)
authorshalinib-ibm <redacted>
Mon, 6 Jul 2026 10:18:17 +0000 (15:48 +0530)
committerGeorgi Gerganov <redacted>
Fri, 10 Jul 2026 10:06:42 +0000 (13:06 +0300)
commitce2c003f17e1b149f0d26967afc9184f1d1a834e
tree835e0b4436125764a7e3dca7b2b165feb0066c0b
parent2ec3883df02ece8936409cb38120c8131e821366
ggml-cpu: Enable tiled matmul on AIX (llama/25199)

The matmul_tiled path uses large local stack buffers for A_pack and B_pack. On AIX this can trigger a segmentation fault, so reduce the buffer footprint there to keep the tiled path usable.

 Performance Impact:
    ~ 2x gains in PP_Speed for FP32, Q4_0 and Q8_0 models tested with llama-bench, llama-batched-bench and llama-cli.
    Models used: Llama3.2 3b Instruct F32, qwen 2.5 3b Q4_0 and Q8_0
ggml/src/ggml-cpu/llamafile/sgemm.cpp