]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
metal : separate scale and mask from QKT in FA kernel (llama/9189)
authorGeorgi Gerganov <redacted>
Mon, 26 Aug 2024 15:31:02 +0000 (18:31 +0300)
committerGeorgi Gerganov <redacted>
Wed, 28 Aug 2024 10:22:20 +0000 (13:22 +0300)
commitd96a17848fd8fc24c4f667024952b07dcefe8197
tree8411c5b935e6d48070caa555e9f9202df6ea0bbc
parent0e7798677a74430f417d9f956615363fabaacd20
metal : separate scale and mask from QKT in FA kernel (llama/9189)

* metal : separate scale and mask from QKT in FA kernel

* metal : ne01 check no longer necessary

* metal : keep data in local memory
ggml/src/ggml-metal.metal