go : NewContext now returns a clean context (#537)

Co-authored-by: Ming <redacted>

main : add csv header (#552)

make : add -DNDEBUG compile flag

release : v1.2.1

make : add "-mcpu=native" when building for aarch64 (#532)

readme : add pybind11 bindings (#538)

readme : add cython bindings (#9)

whisper : zero-initialize some more context variables

Just in case

whisper : fix uninitialized exp_n_audio_ctx

whisper : add API for applying custom logits filters during decoding

yt-wsp.sh : print help on empty args

whisper : by default disable non-speech tokens suppression (#473)

This seems to be causing hallucinations in the end of the audio, e.g.:

"Thank you for listening"
"Amen"
..

readme : add Ruby discussion + update .NET discussion

bindings : add Ruby (#500)

* adding ruby bindings

* avoid adding these they are copied in via extconf.rb

* ignore these files here

* add definitions for boolean params

* initial transcribe for ruby

* use en model and transcribe jfk with assertion

* possibly this works for building ruby binding

* ci : try to add ruby workflow

---------

Co-authored-by: Georgi Gerganov <redacted>

main : fix std in input (#503)

if we don't add this as an explicit check, then we get an "error: unknown argument: -" later on

examples : refactor in order to reuse code and reduce duplication (#482)

* examples : refactor common code into a library

* examples : refactor common SDL code into a library

* make : update Makefile to use common libs

* common : fix MSVC M_PI ..

* addon.node : link common lib

whisper : fix signedness compiler warning (#506)

yt-wsp.sh : add unique filename generation (#495)

Co-authored-by: genevera <redacted>

readme : add another .NET repo (#303)

readme : add .NET repo (#303)

cmake : install whisper.h header (#485)

Including the header file in the install bundle helps projects that ship binaries.

whisper : suppress non-speech-related token outputs (#473)

* add non-speech-token suppression

* add suppress non-speech_tokens param

whisper : fixed Beam Search Strategy and exposed whisper_pcm_to_mel_phase_vocoder (#474)

Co-authored-by: Sandro Hanea <redacted>

whisper : only trim if split_on_word is true (#476)

ci : add node addon test and optimize compilation configuration (#468)

* addon: implement node addon call whisper through cpp

* addon: modify the license to MIT

* addon: remove iostream

* addon: rename dir

* addon: fix typo

* addon: configure cmake to build when cmake-js is used

* ci: add addon.node test ci

* addon: remove build WHISPER_BUILD_TESTS

* addon: update build command

* addon: add test

* addon: add test file

* addon: adapt to compile on Windows

* addon: fix typo

* addon: reuse jfk.wav

Co-authored-by: Georgi Gerganov <redacted>
* addon: reuse jfk.wav

---------

Co-authored-by: Georgi Gerganov <redacted>

whisper : add whisper_full_lang_id() for getting the context lang (#461)

whisper : add "split_on_word" flag when using using "max_len" option (#455)

* Update whisper.cpp

* fix: trim function

* feat: added flag to split on word

* fix: arguments for main

release : v1.2.0

whisper : reduce memory usage during inference (#431)

* ggml : add "scratch" buffer support

* ggml : support for scratch ring-buffer

* ggml : bug fix in ggml_repeat()

* ggml : error on scratch buffer overflow

* whisper : use scratch buffers during inference (base model only)

* whisper : update memory usage for all models

* whisper : fix encoder memory usage

* whisper : use whisper_context functions instead of macros

* whisper : fix FF + remove it from README

* ggml : reuse ggml_new_i32

* ggml : refactor the scratch buffer storage

* whisper : reorder scratch buffers in the decoder

* main : add option to disable temp fallback

* Update README.md

addon.node : using whisper as a Node.js addon (#443)

* addon: implement node addon call whisper through cpp

* addon: modify the license to MIT

* addon: remove iostream

* addon: rename dir

* addon: fix typo

* addon: configure cmake to build when cmake-js is used

go : support "auto" as an option when set language (#462)

Co-authored-by: Ming <redacted>

whisper : suppress task tokens (#442)

wasm : fix typo in helper.js (#459)

main : CSV format export trimmed spaces fix (#444)

* Update main.cpp

Removed string trimming

* Update main.cpp

* Update main.cpp

* Revert "Update main.cpp"

This reverts commit d8924fdcfe8a2980db0af47d42ec206fc1a3e9d0.

* Revert "Update main.cpp"

This reverts commit 252e508d8597231c61380ebea42b3707714345cc.

go : add wrapper for system info (#456)

go : add WhisperLangAutoDetect method to go binding (#451)

livestream.sh : run main with model arg instead of default (#453)

Actually utilizes the $model var when calling ./main.

whisper : do not provide past prompt when n_max_text_ctx == 0

wasm : check if navigator.storage.estimate() is available

Safari does not support it

go : added wrappers to reset and print timings (#436)

ci : run workflows on pull requests + bindings depend on .h (#446)

whisper.wasm : add labels for easier radio selection (#435)

whisper : condition timestamps to be monotonically increasing (#425)

whisper : PPC64 big-endian support (#398)

* ggml : set cache line size to 128 on POWER9

* whisper : add PPC64 big endian support

release : v1.1.1

.gitignore : add arm_neon.h

whisper : fix condition for providing past prompt (critical)

This bug has been present since v1.1.0.

Effectively, the past transcribed text wasn't being used for following
transcriptions, which likely significantly reduces the transcription
quality.

Likely related to #419

whisper : extend information in whisper_print_timings()

whisper : perform entropy check only when we have at least 32 tokens (#412)

main : we had accidentally disabled the temperature fallback .. (#291)

whisper.wasm : add small and small.en models

bench : minor fixes

main : add an option to accept optional output filenames (#424)

* Add an option to accept optional output filenames

* Format the file

Co-authored-by: Chia-Hsiang Cheng <redacted>

stream : fix handling of --step == --length (#416)

bench : fix Windows linkage by moving ggml benches in whisper lib ..

bench : add memcpy and ggml_mul_mat benchmarks

whisper.android : add support for loading directly from asset in C (#415)

whisper : fix possible uninitialized variables (#291)

stream : fix --keep_context argument to be used correctly (#354)

go : remove sample_best and sample_timestamp bindings (#409)

Update README.md

cmake : bump version to 1.1.0

Update README.md

whisper : account speed_up flag for short audio (close #405)

Update README.md

bench.wasm : print system info

Improve decoding (#291)

* whisper : prepare infra for new decoding strategies

* whisper : apply logit filters and compute logprobs

* whisper : add whisper_get_logits()

* whisper : separate self and cross attention memory

Initial step needed for supporting parallel decoders

* whisper : move probs_id buffer to whisper_context

* whisper : refactor kv cache into separate struct

* whisper : move self-attention kv cache to whisper_decoder

* whisper : wip decoding parameters + strategies

* whisper : wip decoding parameters + strategies (part 2)

* whisper : wip decoding parameters + strategies (part 3)

* whisper : wip decoding parameters + strategies (part 4)

* whisper : fix prompt_past update to not include prompt_init

* whisper : temperature + best_of support

* whisper : support for compression_ration_threshold

We actually use entropy, but it is similar

* command : fix example to use logits instead of obsolete probs

* whisper : handle empty sequence ranking

* whisper : add WHISPER_DEBUG + diagnostic prints + new main args

* whisper : minor fixes

* whisper : add beam-search support

* whisper : bug fix when there no previous context

* whisper : add comments

* stream : disable temperature fallback

For real-time processing, we always want a single decoder running at T=0

* whisper.swiftui : update example - fix paths + add empty folders

stream : fix a bug that inserted a lot of empty audio at the start

The quality was terrible due to this

ggml : remove obsolete zeroing + comment fixes (#390)

readme : clarify main and stream usage (#391)

Give an example of ./main that uses a sample file that's already there, and make the stream example clarify you need `make stream`

ggml : correct behaviour of ggml_vec_sum_f32 (#390)

whisper : fix sample_to_timestamp calculation with 64 bit precision to avoid overflow (#388)

* Do calculation with 64 bit precision to avoid overflow

* Update whisper.cpp

Co-authored-by: Georgi Gerganov <redacted>
Co-authored-by: Georgi Gerganov <redacted>

whisper : add loader class to allow loading from buffer and others (#353)

* whisper : add loader to allow loading from other than file

* whisper : rename whisper_init to whisper_init_from_file

* whisper : add whisper_init_from_buffer

* android : Delete local.properties

* android : load models directly from assets

* whisper : adding <stddef.h> needed for size_t + code style

Co-authored-by: Georgi Gerganov <redacted>

ggml : improve vec_dot_f16 unrolling in flash_attn_f16

command : clean-up / refactoring / formatting (#383)

command : always-prompt mode (#383)

go : adding features to the go-whisper example, go ci, etc (#384)

* Updated bindings so they can be used in third pary packages.

* Updated makefiles to set FMA flag on optionally, for xeon E5 on Darwin

* Added test script

* Changes for examples

* Reverted

* Made the NewContext method private

ggml : fix bug in new soft max computation

cmake : add -Wno-unused-function + update whisper.js

ggml : when using BLAS start only 1 CPU thread

ggml : fix running tasks with variable number of threads

ggml : unroll ggml_vec_dot_f16 in ggml_compute_forward_flash_attn_f16

whisper : revert accidental MB change

ggml : speed-up soft max via Accelerate + unroll

ggml : use vDSP_sve and vDSP_maxv from Accelerate

ggml : make gcc happy (minor)

talk.wasm : bump memory usage + update whisper.js

cmake : support AVX2 in Windows better (#381)

Revert "tmp"

This reverts commit 1652965529a467213b588491d7849292df7808d9.

go : bindings updated so they can be used in third party packages. (#379)

* Updated bindings so they can be used in third pary packages.

* Updated makefiles to set FMA flag on optionally, for xeon E5 on Darwin

tmp

cmake : change min required version to 3.0 (#351)

We increase the min version only when want to use particular
functionality that is available in the newer version

command : add "guided-mode" video demo in the README.md

ggml : add SSE3 and fp16 conversion lookup table (#368)

* Improves WASM performance:
  On MacBook M1 Pro, I observe 25% faster using Firefox and 35% faster using Chrome

* Add support for SSE3 SIMD

* Add SSE3 to system information

* Add Imath support for fp16-fp32 conversions

* Add Imath to system information

* Wrap Imath calls to avoid static function warnings

* Drop Imath; Add lookup table for f16 -> f32 conversions

* Remove TODO comments

* Update SSE3 to new macro arguments

* Correct updated macro definitions

* Prefer static inline where possible

* ggml : static inlines + add public f16 <-> f32 conversions

Co-authored-by: Georgi Gerganov <redacted>

whisper : document POWER VSX support

ggml : reorganize POWER9 ppc64le SIMD code

ggml : change f16 load and store macro arguments

whisper : do not use F16 tensors when in F32 mode (#369)

ci : add emscripten build

main : make whisper_print_segment_callback() more readable (close #371)