]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
whisper : token-level timestamps with DTW (whisper/1485)
authordenersc <redacted>
Wed, 20 Mar 2024 16:25:26 +0000 (13:25 -0300)
committerGeorgi Gerganov <redacted>
Wed, 27 Mar 2024 11:35:37 +0000 (13:35 +0200)
commit719c630172fe963965332b4e5883d1396216ee14
tree52ac4bea7c965c3d306141437872a29b7817f489
parent42fc1999f6ba224de3118f3560c40bbb1d2ec532
whisper : token-level timestamps with DTW (whisper/1485)

* whisper.cpp: impl dtw algo

* WIP: producing and placing DTW timestamps on tokens

* Fix compile and assertion errors. Attempt to DTW timestamp with single_segment=false.

* Fix mistake causing incorrect alignment of dtw timestamps

* implement N_TOP_MOST and CUSTOM alignment heads setting

* whisper: fix typo on alignment heads enum

* Fix issues related to changes in whisper.cpp

* Fixed excessive memory use when using DTW timestamps. Other minor fixes to DTW timestamping function

* decoder: save cross QKs only if requested

* Calling median filter with ggml_map_custom1

* Reimpl aheads n_top_most and custom. Sanity checks on chosen aheads

* Copying cross QKs from decoder backend correctly

* dtw: cleanup

* Fix incorrect n_frames passed to dtw when near end of audio

* Fix aheads_masks_init for backend != CPU

* whisper : minor style

* main : add dtw (wip)

* whisper: fix invalid memory access in aheads_masks_init

* main : add dtw (cont)

* whisper : minor

---------

Co-authored-by: Georgi Gerganov <redacted>
examples/whisper/main.cpp
examples/whisper/whisper.cpp
examples/whisper/whisper.h