]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
cuda : add RoPE kernel for mode == 2 (NeoX) (#2760)
authorGeorgi Gerganov <redacted>
Fri, 25 Aug 2023 08:55:59 +0000 (11:55 +0300)
committerGitHub <redacted>
Fri, 25 Aug 2023 08:55:59 +0000 (11:55 +0300)
commit3f460a2b723c8b936ac29ecfd02f244b3adeba55
tree3159656f14a6646d745d2900452f83f9bc9ebed0
parent87e3733f24a85d894cc16e1cbdfa1ea1e81a76f3
cuda : add RoPE kernel for mode == 2 (NeoX) (#2760)

* cuda : add RoPE kernel for mode == 2 (NeoX)

* falcon : do not offload the embeddings layer
ggml-cuda.cu
llama.cpp