]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
ggml : full ALiBi support (llama/7192)
authorGeorgi Gerganov <redacted>
Sat, 11 May 2024 07:32:41 +0000 (10:32 +0300)
committerGeorgi Gerganov <redacted>
Mon, 13 May 2024 08:02:26 +0000 (11:02 +0300)
commite54329da7b3463a99c07a7b7e0dcece347057018
tree240477844da31c11e9d473b6951d7983103549ba
parent284fac39fbe20716907327dd7af786cc38eb5049
ggml : full ALiBi support (llama/7192)

* ggml : full ALiBi support

* ggml : update ggml_soft_max_ext() CUDA, SYCL

* ggml : ggml_flash_attn_ext() support ALiBi (CPU)

* ggml : ggml_flash_attn_ext() support ALiBi (Metal)

* ggml : fix warning

* ggml : ggml_flash_attn_ext() support ALiBi (CUDA)

ggml-ci

* ggml : fix assert message

* vulkan : add dev notes

* ggml : require mask when using ALiBi

ggml-ci

* convert : fix convert for refact models
ggml-cuda.cu
ggml-cuda/fattn.cu
ggml-cuda/softmax.cu
ggml-kompute.cpp
ggml-metal.m
ggml-metal.metal
ggml-sycl.cpp
ggml-vulkan.cpp
ggml.c
ggml.h