]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
whisper : improve decoding strategy (#244)
authorGeorgi Gerganov <redacted>
Fri, 16 Dec 2022 16:31:17 +0000 (18:31 +0200)
committerGeorgi Gerganov <redacted>
Fri, 16 Dec 2022 16:34:35 +0000 (18:34 +0200)
commit6a7c82501e3794724ba80bfb9a983810af036803
tree0c4c3d6341d37e303c61f6e030d23654a95b6f4f
parenta82d331034f8cb36813f923fee559c1195b5cfe8
whisper : improve decoding strategy (#244)

- Clear past prompt when there is very short audio left for processing.
  My observation is that in these cases the decoding tends to repeat and
  hallucinate stuff and I think this is induced by the existing prompt
- When we fail to sample timestamp token, retry by clearing the past
  prompt. If it fails again, then we advance the window by 1 second
whisper.cpp