]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml : add mmla kernels for quantized GEMM (llama/4966)
authorsnadampal <redacted>
Sun, 11 Feb 2024 13:22:33 +0000 (07:22 -0600)
committerGeorgi Gerganov <redacted>
Mon, 12 Feb 2024 07:31:11 +0000 (09:31 +0200)
commitb7ef178b9c629919bd7a6f3b7df78574c2138451
treeb9e17afba1faf91f14e531cbb453a9f4b861e42e
parent47dfe9d4db25520dafb626b7f2d1646aa844ef14
ggml : add mmla kernels for quantized GEMM (llama/4966)

* ggml: aarch64: implement smmla kernel for q8_0_q8_0 quantized gemm

armv8.2-a and above supports MMLA instructions that have higher
throughput than DOT. this commit adds mmla kernel for
q8_0_q8_0 gemm. The feature is enabled if the platform supports
"__ARM_FEATURE_MATMUL_INT8"

On AWS Graviton3 processors this kernel resulted up to 1.5x
improvement for prompt evaluation throughput compared to the
default sdot kernel.

* ggml: aarch64: implement smmla kernel for q4_0_q8_0 quantized gemm

armv8.2-a and above supports MMLA instructions that have higher
throughput than DOT. this commit adds mmla kernel for
q4_0_q8_0 gemm. The feature is enabled if the platform supports
"__ARM_FEATURE_MATMUL_INT8"

On AWS Graviton3 processors this kernel resulted up to 1.5x
improvement for prompt evaluation throughput compared to the
default sdot kernel.

* ggml: aarch64: implement smmla kernel for q4_1_q8_1 quantized gemm

armv8.2-a and above supports MMLA instructions that have higher
throughput than DOT. this commit adds mmla kernel for
q4_1_q8_1 gemm. The feature is enabled if the platform supports
"__ARM_FEATURE_MATMUL_INT8"

On AWS Graviton3 processors this kernel resulted up to 1.5x
improvement for prompt evaluation throughput compared to the
default sdot kernel.

* ggml: update unit tests for the new vec_dot interface

* llama.cpp: add MATMUL_INT8 capability to system_info
ggml-quants.c
ggml-quants.h
ggml.c
ggml.h