]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
add amx kernel for gemm (llama/8998)
authorMa Mingfei <redacted>
Fri, 18 Oct 2024 05:34:36 +0000 (13:34 +0800)
committerGeorgi Gerganov <redacted>
Wed, 23 Oct 2024 17:28:03 +0000 (20:28 +0300)
commitedcca55b7361bbbbd5892c80c76075ef8b8fe160
treea4a1d14dae43fbf20376541f2188b41d2ac851c4
parent944c2d434067b14cd68a25821b1eb8e098387da6
add amx kernel for gemm (llama/8998)

add intel amx isa detection

add vnni kernel for gemv cases

add vnni and amx kernel support for block_q8_0

code cleanup

fix packing B issue

enable openmp

fine tune amx kernel

switch to aten parallel pattern

add error message for nested parallelism

code cleanup

add f16 support in ggml-amx

add amx kernels for QK_K quant formats: Q4_K, Q5_K, Q6_K and IQ4_XS

update CMakeList

update README

fix some compilation warning

fix compiler warning when amx is not enabled

minor change

ggml-ci

move ggml_amx_init from ggml.c to ggml-amx/mmq.cpp

ggml-ci

update CMakeLists with -mamx-tile, -mamx-int8 and -mamx-bf16

ggml-ci

add amx as an ggml-backend

update header file, the old path for immintrin.h has changed to ggml-cpu-impl.h

minor change

update CMakeLists.txt

minor change

apply weight prepacking in set_tensor method in ggml-backend

fix compile error

ggml-ci

minor change

ggml-ci

update CMakeLists.txt

ggml-ci

add march dependency

minor change

ggml-ci

change ggml_backend_buffer_is_host to return false for amx backend

ggml-ci

fix supports_op

use device reg for AMX backend

ggml-ci

minor change

ggml-ci

minor change

fix rebase

set .buffer_from_host_ptr to be false for AMX backend
CMakeLists.txt
ggml/include/ggml-amx.h [new file with mode: 0644]
ggml/src/ggml-amx.cpp [new file with mode: 0644]
include/ggml.h
src/CMakeLists.txt
src/ggml-backend.cpp
src/ggml.c