]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
hexagon: support for IQ4_NL and MXFP4 (llama/21018)
authorYiwei Shao <redacted>
Fri, 27 Mar 2026 16:22:41 +0000 (09:22 -0700)
committerGeorgi Gerganov <redacted>
Sat, 28 Mar 2026 11:39:09 +0000 (13:39 +0200)
commit35ae589fa189a3682a1fe25b7803122680c401b4
treeed7271942cabd77bf256561db44ebbfd6cd0d5ab
parent960449fd1fe8eb1fcd5f71331facf5f1642e9849
hexagon: support for IQ4_NL and MXFP4 (llama/21018)

* ggml-hexagon: add IQ4_NL and MXFP4 HMX matmul support

- Add IQ4_NL quantization type support to Hexagon backend (buffer
  set/get tensor repack, mul_mat, mul_mat_id dispatch)
- Implement HVX IQ4_NL vec_dot kernels (1x1, 2x1, 2x2) with
  LUT-based 4-bit index to int8 kvalue dequantization
- Add MXFP4 HMX dequantization path with E8M0 scale conversion,
  including batch-4 fast path and single-tile fallback
- Unify quantized row size / scale offset logic to handle Q4_0,
  Q8_0, IQ4_NL, and MXFP4 in the DMA fetch path

* ggml-hexagon: fix SKIP_QUANTIZE src1 address mismatch in mixed-quant models

* Fix the pragma indent
src/ggml-hexagon/ggml-hexagon.cpp
src/ggml-hexagon/htp/hmx-matmul-ops.c
src/ggml-hexagon/htp/htp-ctx.h
src/ggml-hexagon/htp/main.c
src/ggml-hexagon/htp/matmul-ops.c