]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
ggml : full ALiBi support (llama/7192)
authorGeorgi Gerganov <redacted>
Sat, 11 May 2024 07:32:41 +0000 (10:32 +0300)
committerGeorgi Gerganov <redacted>
Sat, 11 May 2024 18:30:08 +0000 (21:30 +0300)
commit4871e505b8d79494391fa6a4381c1dab44125012
tree805e16a65eaf32b12e01c306ac150f1f97fd90e1
parent9ae6a6d2c3da98fbbb080122833501d58c31eaa6
ggml : full ALiBi support (llama/7192)

* ggml : full ALiBi support

* ggml : update ggml_soft_max_ext() CUDA, SYCL

* ggml : ggml_flash_attn_ext() support ALiBi (CPU)

* ggml : ggml_flash_attn_ext() support ALiBi (Metal)

* ggml : fix warning

* ggml : ggml_flash_attn_ext() support ALiBi (CUDA)

ggml-ci

* ggml : fix assert message

* vulkan : add dev notes

* ggml : require mask when using ALiBi

ggml-ci

* convert : fix convert for refact models
include/ggml/ggml.h
src/ggml-cuda.cu
src/ggml-cuda/fattn.cu
src/ggml-cuda/softmax.cu
src/ggml-kompute.cpp
src/ggml-metal.m
src/ggml-metal.metal
src/ggml-sycl.cpp
src/ggml-vulkan.cpp
src/ggml.c
tests/test-backend-ops.cpp