Try to improve the token sampling strategy (#193)

* whisper : try to improve the token sampling strategy

- Add the "max_initial_timestaamp" token logic from OpenAI
- Disallow sampling timestamps that are in the past

* whisper : fix the max initial timestamp logic + fallback decoding

tests : adding transcription tests

ggml : remove inline specifier from fp16 <-> fp32 converters

livestream : handle ffmpeg errors gracefully and stabilize transcript

livestream : minor changes

livestream : fix losing words across audio chunk (#195)

* improve livestream script

* Update examples/livestream.sh

Co-authored-by: Georgi Gerganov <redacted>
Co-authored-by: Paul Edwards <redacted>
Co-authored-by: Georgi Gerganov <redacted>

Fix Darwin flags - was incorrectly always using the Linux else clause

whisper : add mechanism for aborting the whisper_full() computation

Update README.md

whisper.objc : fix context + broken readme links

whisper.objc : add real-time processing (#97)

Similar to the "stream" app

whisper.objc : fix build warnings

minor : remove "examples/" prefix from the README

yt-wsp.sh : script to easily transcribe VODs

Thanks to @DaniruKun
ref: https://gist.github.com/DaniruKun/96f763ec1a037cc92fe1a059b643b818

Usage:

  cd whisper.cpp
  make

  ./examples/yt-wsp.sh <video-url>

Update README.md

command.wasm : add voice assistant example for the Web (#171)

Same as the command-line tool "command", but runs in the browser

Also, added helper script "extra/deploy-wasm.sh" and fixed some timing
constants for the WASM examples.

minor : add comment for using "generate_karaoke.sh"

livestream.sh : simple tool to transcribe audio livestreams (#185)

stream.wasm : add web-based real-time transcription (#112)

whisper.wasm : do not block page while processing (close #86)

main : add stereo-channel-based diarization (#64)

Not tested - I don't have stereo dialog audio

command : add demonstration video

command : fix build + fix README + add bold printing

examples : add "command" tool (#171)

refactoring : more readable code

correct model name display on running samples

wasm : refactor wasm example + reuse fetch mechanism

talk.wasm : update video link + some minor fixes

Update README.md

Use a less cringy video to demo talk.wasm lol

Update README.md

talk.wasm : move to https://whisper.ggerganov.com/talk

This way, we can share the same models across different WASM examples
and not have to download them for each page

models : add instructions for using HF fine-tuned models

whisper : improve printfs

main : fix dangling pointer when using stdin for input (#65)

main, stream : remove --verbose flag (#178)

talk.wasm : add audio pre-processing + bump memory

talk.wasm : refactoring + update README.md

models : add usage comments to the HF convert script (#157)

models : fix HF fine-tuned model conversion script (#157)

It works now

ggml : fix the fix

ggml : fix cross-compile Linux -> Window with mingw (#168)

Revert "update README.md"

This reverts commit 6a84147113669bed68bbc4d31e3c14f914092bf8.

update README.md

ggml: change inline ggml_fp16_to_fp32, ggml_fp16_t ggml_fp32_to_fp16

add gprof option

fix AVX,AVX2,FMA,F16C detection on Linux and add flags for OpenBLAS

add AVX support

Build with OpenBLAS and SDL2 on windows

models : minor changes to the HF convert script (#157)

models : add "convert-h5-to-ggml.py" script (#157)

Converts transformers models to ggml.
Although the conversion is successful, it does not work for some reason.
Not sure why

minor : updates few prints + fix buttons in whisper.wasm

Update README.md

Update README.md

Find libopenblas.dll.a on windows

"lib" is needed for windows.

With this change, you can build whisper.cpp with OpenBLAS's prebuilt DLL.
1. extract a zip from https://github.com/xianyi/OpenBLAS/releases
2. copy the headers in (openblas)/include to the root directory of whisper.cpp
3. invoke cmake with -DCMAKE_LIBRARY_PATH=(openblas)\lib -DWHISPER_SUPPORT_OPENBLAS=ON
4. copy (openblas)/bin/libopenblas.dll to the same directory of whisper.dll after msbuild

https://github.com/ggerganov/whisper.cpp/issues/89#issuecomment-1324391258

unicode : fix character replacement (thanks to @tamo)

close #109 : add fetching of the model over HTTP (whisper.wasm)

talk.wasm : final touches

talk.wasm : polishing + adding many AI personalities

stream : "-kc" now enables context keeping from previous segment (#90)

By default, the context keeping is disabled

Prompt previous tokens for streaming (#163)

* feat: prompt previous tokens for streaming

I used a vector pointer instead of vector itself because it gave weird errors, and why not

* convert vector to use with C api

* feat: remove old refs, check for prompt size

* feat: use better way of getting the pointer

talk.wasm : update README.md

talk.wasm : GPT-2 meets Whisper in WebAssembly (#155)

* talk : initial real-time transcription in the browser

* talk : polishing the UI

* talk : ready for beta testing

* talk.wasm : rename example

Update README.md

ggml : fix Windows build

ci : add Windows build

stream : add "max_tokens" cli arg

Controls the max tokens per segment for the stream example

stream : add "audio_ctx" parameter

Used to overwrite the audio context size of the Encoder.
For example, setting "audio_ctx = 512" will make it run about 3 times
faster, processing about 10s of audio, instead of 30s.

The transcription quality drops, but this can be used for real-time
streaming purposes where performance is important.

stream : add "max_tokens" parameter

Used to limit the number of tokens in a segment.
Useful to battle with word repetition when using partial encoder context

stream : add "single_segment" option

Force the entire audio chunk to be transcribed into a single segment

stream : partial encoder experiments

fix: free ggml_context (close #149) (#150)

* fix: free ggml_context

* ggml : free the model's contexts in whisper_free()

Co-authored-by: Georgi Gerganov <redacted>

models : simplify the conversion script

"transformers" dependency is not actually needed

Update download-ggml-model.sh

follow curl redirect to new hosting site

models : change default hosting to Hugging Face

My Linode is running out of monthly bandwidth due to the big interest in
the project

whisper : add option to speed up the audio tempo by x2

Using a Phase Vocoder for speeding up the audio tempo by scaling down
the frequencies in the frequency domain.

This reduces the computation in the Encoder by a factor of 2.
The transcription accuracy is degraded, but for slow to normal speech -
it seems to be still very good.

I think this can find application for real-time transcription - i.e. the
"stream" example.

make : add libwhisper.so target (#144)

Add WHISPER_NO_AVX and WHISPER_NO_AVX2 to CMakeLists (#136)

* Check for AVX and AVX2 on Darwin

* Add AVX options to CMakeLists

minor : remove one more redundant line

minor : fix double float32 conversion in python script

ref #40 : start working on the documentation

Adds support for stdin wav input

js : update whipser.js to latest

Check for AVX and AVX2 on Darwin

Fix the Windows pthread_create shim

The current implementation doesn't actually set the out parameter,
and it returns 0 on failure instead of on success.

sync : submodule whisper.spm

cmake : add submodule whisper.spm

ref #22 : add "duration" option

Can be used to partially process a recording

Update README.md

examples : add simple script for generating Karaoke video

Update README.md

Update README.md

main : fix generated bash script

ggml : multi-thread the ggml_add operator

cmake : fix passing GGML_PERF compile option

Update README.md

whisper : token-level timestamp refactoring (#49, #120)

This turned out pretty good overall. The algorithm has been moved from
main.cpp to whisper.cpp and can be reused for all subtitles types. This
means that now you can specify the maximum length of the generated
lines. Simply provide the "-ml" argument specifying the max length in
number of characters

Update README.md

extra : compute SHA of all models files

whisper : fix extra memory usage after recent processor changes

Had increased the memory buffer to the size of the model and forgot to
bring it down.

Allow building with Accelerate for x86_64 Macs (#123)

* Cross compile windows

* set env properly

* rm log

* fix review

* Add back space

* Don't force architecture

* Allow building x86_64 with accelerate