]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
add amx kernel for gemm (#8998)
authorMa Mingfei <redacted>
Fri, 18 Oct 2024 05:34:36 +0000 (13:34 +0800)
committerGitHub <redacted>
Fri, 18 Oct 2024 05:34:36 +0000 (13:34 +0800)
commit60ce97c9d809f4b040e90b597468b839df5728d0
treecab57f67aa6bff72aebaed4164937254cd7923fa
parent8901755ba328643c9ab071c20e1939ea52951a0e
add amx kernel for gemm (#8998)

add intel amx isa detection

add vnni kernel for gemv cases

add vnni and amx kernel support for block_q8_0

code cleanup

fix packing B issue

enable openmp

fine tune amx kernel

switch to aten parallel pattern

add error message for nested parallelism

code cleanup

add f16 support in ggml-amx

add amx kernels for QK_K quant formats: Q4_K, Q5_K, Q6_K and IQ4_XS

update CMakeList

update README

fix some compilation warning

fix compiler warning when amx is not enabled

minor change

ggml-ci

move ggml_amx_init from ggml.c to ggml-amx/mmq.cpp

ggml-ci

update CMakeLists with -mamx-tile, -mamx-int8 and -mamx-bf16

ggml-ci

add amx as an ggml-backend

update header file, the old path for immintrin.h has changed to ggml-cpu-impl.h

minor change

update CMakeLists.txt

minor change

apply weight prepacking in set_tensor method in ggml-backend

fix compile error

ggml-ci

minor change

ggml-ci

update CMakeLists.txt

ggml-ci

add march dependency

minor change

ggml-ci

change ggml_backend_buffer_is_host to return false for amx backend

ggml-ci

fix supports_op

use device reg for AMX backend

ggml-ci

minor change

ggml-ci

minor change

fix rebase

set .buffer_from_host_ptr to be false for AMX backend
14 files changed:
CMakeLists.txt
Makefile
README.md
ggml/CMakeLists.txt
ggml/include/ggml-amx.h [new file with mode: 0644]
ggml/include/ggml.h
ggml/src/CMakeLists.txt
ggml/src/ggml-amx.cpp [new file with mode: 0644]
ggml/src/ggml-amx/common.h [new file with mode: 0644]
ggml/src/ggml-amx/mmq.cpp [new file with mode: 0644]
ggml/src/ggml-amx/mmq.h [new file with mode: 0644]
ggml/src/ggml-backend.cpp
ggml/src/ggml.c
src/llama.cpp