]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
whisper : faster beam_search sampling via reduced KV cache copies (#1243)
authorbobqianic <redacted>
Sun, 10 Sep 2023 13:04:27 +0000 (21:04 +0800)
committerGitHub <redacted>
Sun, 10 Sep 2023 13:04:27 +0000 (16:04 +0300)
commit9b144188639f09a5be5e751d86bd334fbce67070
tree6669f7c9633e7207e15edd540281c58a674a03cf
parent6ddc727fac7a24facdd2810f7094ae1dd141b5cc
whisper : faster beam_search sampling via reduced KV cache copies (#1243)

* Faster `beam_search` sampling

Refine the KV cache update logic for more intelligent and efficient updating.

* Faster `whisper_sample_token_topk`

* Update whisper.cpp

* Update whisper.cpp

* Update whisper.cpp

* Reduce `memory allocation`

* Add `pointer swapping`

* Fixed some bugs

* Update whisper.cpp

* Apply suggestions from code review

* Updated the logic for determining `two-copy`

* Updated the logic for determining `two-copy` v2

* whisper : add debug logs + coding style

---------

Co-authored-by: Georgi Gerganov <redacted>
whisper.cpp