]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
add amx kernel for gemm (llama/8998)
authorMa Mingfei <redacted>
Fri, 18 Oct 2024 05:34:36 +0000 (13:34 +0800)
committerGeorgi Gerganov <redacted>
Fri, 1 Nov 2024 08:19:05 +0000 (10:19 +0200)
commite1936eb2a568ece0e0f508b6f597db97c61418c7
treed2931d9d8f8aa6659090035c73f7fad2d9c074b7
parent28b044dad9a09e6caf99ed3f8a82db618c0d0267
add amx kernel for gemm (llama/8998)

add intel amx isa detection

add vnni kernel for gemv cases

add vnni and amx kernel support for block_q8_0

code cleanup

fix packing B issue

enable openmp

fine tune amx kernel

switch to aten parallel pattern

add error message for nested parallelism

code cleanup

add f16 support in ggml-amx

add amx kernels for QK_K quant formats: Q4_K, Q5_K, Q6_K and IQ4_XS

update CMakeList

update README

fix some compilation warning

fix compiler warning when amx is not enabled

minor change

ggml-ci

move ggml_amx_init from ggml.c to ggml-amx/mmq.cpp

ggml-ci

update CMakeLists with -mamx-tile, -mamx-int8 and -mamx-bf16

ggml-ci

add amx as an ggml-backend

update header file, the old path for immintrin.h has changed to ggml-cpu-impl.h

minor change

update CMakeLists.txt

minor change

apply weight prepacking in set_tensor method in ggml-backend

fix compile error

ggml-ci

minor change

ggml-ci

update CMakeLists.txt

ggml-ci

add march dependency

minor change

ggml-ci

change ggml_backend_buffer_is_host to return false for amx backend

ggml-ci

fix supports_op

use device reg for AMX backend

ggml-ci

minor change

ggml-ci

minor change

fix rebase

set .buffer_from_host_ptr to be false for AMX backend
ggml/CMakeLists.txt
ggml/include/ggml.h
ggml/src/CMakeLists.txt
ggml/src/ggml-backend.cpp
ggml/src/ggml.c