]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
metal : optimize FA kernels (llama/10171)
authorGeorgi Gerganov <redacted>
Fri, 8 Nov 2024 11:47:22 +0000 (13:47 +0200)
committerGeorgi Gerganov <redacted>
Wed, 13 Nov 2024 17:03:32 +0000 (19:03 +0200)
commit836c7c6fe574fd8da5027cc210e8290e13e0d27f
tree11557be49a8ebfdc5f572e18fd288bf7e87f0d0a
parent8a3d799484d861748f86eb87c8314fa2dbccc254
metal : optimize FA kernels (llama/10171)

* ggml : add ggml_flash_attn_ext_get_prec

* metal : use F16 precision in FA kernels

ggml-ci

* metal : minor clean-up

* metal : compile-guard bf16 FA kernels

ggml-ci

* build : remove obsolete compile flag [no ci]

* metal : prevent int overflows [no ci]

* cuda : disable BF16 FA

ggml-ci

* metal : fix BF16 requirement for FA kernels

ggml-ci

* make : clean-up [no ci]
include/ggml.h
src/ggml-cuda.cu
src/ggml-cuda/fattn.cu
src/ggml-metal.m
src/ggml-metal.metal
src/ggml.c
tests/test-backend-ops.cpp