bench : minor fixes

main : add an option to accept optional output filenames (#424)

* Add an option to accept optional output filenames

* Format the file

Co-authored-by: Chia-Hsiang Cheng <redacted>

stream : fix handling of --step == --length (#416)

bench : fix Windows linkage by moving ggml benches in whisper lib ..

bench : add memcpy and ggml_mul_mat benchmarks

whisper.android : add support for loading directly from asset in C (#415)

whisper : fix possible uninitialized variables (#291)

stream : fix --keep_context argument to be used correctly (#354)

go : remove sample_best and sample_timestamp bindings (#409)

Update README.md

cmake : bump version to 1.1.0

Update README.md

whisper : account speed_up flag for short audio (close #405)

Update README.md

bench.wasm : print system info

Improve decoding (#291)

* whisper : prepare infra for new decoding strategies

* whisper : apply logit filters and compute logprobs

* whisper : add whisper_get_logits()

* whisper : separate self and cross attention memory

Initial step needed for supporting parallel decoders

* whisper : move probs_id buffer to whisper_context

* whisper : refactor kv cache into separate struct

* whisper : move self-attention kv cache to whisper_decoder

* whisper : wip decoding parameters + strategies

* whisper : wip decoding parameters + strategies (part 2)

* whisper : wip decoding parameters + strategies (part 3)

* whisper : wip decoding parameters + strategies (part 4)

* whisper : fix prompt_past update to not include prompt_init

* whisper : temperature + best_of support

* whisper : support for compression_ration_threshold

We actually use entropy, but it is similar

* command : fix example to use logits instead of obsolete probs

* whisper : handle empty sequence ranking

* whisper : add WHISPER_DEBUG + diagnostic prints + new main args

* whisper : minor fixes

* whisper : add beam-search support

* whisper : bug fix when there no previous context

* whisper : add comments

* stream : disable temperature fallback

For real-time processing, we always want a single decoder running at T=0

* whisper.swiftui : update example - fix paths + add empty folders

stream : fix a bug that inserted a lot of empty audio at the start

The quality was terrible due to this

ggml : remove obsolete zeroing + comment fixes (#390)

readme : clarify main and stream usage (#391)

Give an example of ./main that uses a sample file that's already there, and make the stream example clarify you need `make stream`

ggml : correct behaviour of ggml_vec_sum_f32 (#390)

whisper : fix sample_to_timestamp calculation with 64 bit precision to avoid overflow (#388)

* Do calculation with 64 bit precision to avoid overflow

* Update whisper.cpp

Co-authored-by: Georgi Gerganov <redacted>
Co-authored-by: Georgi Gerganov <redacted>

whisper : add loader class to allow loading from buffer and others (#353)

* whisper : add loader to allow loading from other than file

* whisper : rename whisper_init to whisper_init_from_file

* whisper : add whisper_init_from_buffer

* android : Delete local.properties

* android : load models directly from assets

* whisper : adding <stddef.h> needed for size_t + code style

Co-authored-by: Georgi Gerganov <redacted>

ggml : improve vec_dot_f16 unrolling in flash_attn_f16

command : clean-up / refactoring / formatting (#383)

command : always-prompt mode (#383)

go : adding features to the go-whisper example, go ci, etc (#384)

* Updated bindings so they can be used in third pary packages.

* Updated makefiles to set FMA flag on optionally, for xeon E5 on Darwin

* Added test script

* Changes for examples

* Reverted

* Made the NewContext method private

ggml : fix bug in new soft max computation

cmake : add -Wno-unused-function + update whisper.js

ggml : when using BLAS start only 1 CPU thread

ggml : fix running tasks with variable number of threads

ggml : unroll ggml_vec_dot_f16 in ggml_compute_forward_flash_attn_f16

whisper : revert accidental MB change

ggml : speed-up soft max via Accelerate + unroll

ggml : use vDSP_sve and vDSP_maxv from Accelerate

ggml : make gcc happy (minor)

talk.wasm : bump memory usage + update whisper.js

cmake : support AVX2 in Windows better (#381)

Revert "tmp"

This reverts commit 1652965529a467213b588491d7849292df7808d9.

go : bindings updated so they can be used in third party packages. (#379)

* Updated bindings so they can be used in third pary packages.

* Updated makefiles to set FMA flag on optionally, for xeon E5 on Darwin

tmp

cmake : change min required version to 3.0 (#351)

We increase the min version only when want to use particular
functionality that is available in the newer version

command : add "guided-mode" video demo in the README.md

ggml : add SSE3 and fp16 conversion lookup table (#368)

* Improves WASM performance:
  On MacBook M1 Pro, I observe 25% faster using Firefox and 35% faster using Chrome

* Add support for SSE3 SIMD

* Add SSE3 to system information

* Add Imath support for fp16-fp32 conversions

* Add Imath to system information

* Wrap Imath calls to avoid static function warnings

* Drop Imath; Add lookup table for f16 -> f32 conversions

* Remove TODO comments

* Update SSE3 to new macro arguments

* Correct updated macro definitions

* Prefer static inline where possible

* ggml : static inlines + add public f16 <-> f32 conversions

Co-authored-by: Georgi Gerganov <redacted>

whisper : document POWER VSX support

ggml : reorganize POWER9 ppc64le SIMD code

ggml : change f16 load and store macro arguments

whisper : do not use F16 tensors when in F32 mode (#369)

ci : add emscripten build

main : make whisper_print_segment_callback() more readable (close #371)

cmake : add CMAKE_RUNTIME_OUTPUT_DIRECTORY

Currently needed by the wasm examples

ggml : add void to argument-less functions

minor : close #370 + Makefile build info print change

cmake : update to 3.19 (#351)

- update from 3.0 (from 2014) to 3.19 (from 2020)
- move some global setting onto the targets (through a cmake include)

whisper : use ranged-based for loops for readability

ggml : define MIN / MAX only if not defined (minor)

make : print build information

stream : fix data race on bool + avoid division-by-zero

models : fix HF model URL (close #356)

command : refactor to split command list & general transcription modes (#331)

This makes it easier to understand if you're looking for only one of the capabilities.

ggml : improve f16 acceleration for POWER9 ppc64le

whisper : add whisper_n_audio_ctx and check for invalid audio_ctx

closes #344

models : fix typo in convert-h5-to-ggml.py

signficant -> significant

cmake : add runtime destination install (#345)

needed for mingw32 build to successfully install the dlls in the correct location

whisper : avoid some memory allocations

main : add -ocsv, aka --output-csv to output a CSV file

Adds -ocsv, aka --output-csv feature to examples/main, which outputs a CSV file containing lines formatted as follows <startTime-in-integer-milliseconds>, <endTime-in-integer-milliseconds>, "<transcript-line-including-commas>".

make : add i686 arch (close #329)

ggml : barrier refactor + static functions

ggml : simplify the SIMD code (#324)

* ggml : simplify the SIMD code

* ggml : generic reduce for all register sizes + comments

examples : fix memory leak on failure to load gpt2 model (#323)

examples : small code cleanups (#322)

- remove unnecessary initialization of string to ""
- use empty() instead of checking size()
- use emplace_back instead of push_back
- use nullptr instead of NULL
- remove unnecessary call to .data() on string
- use character overload of find_first_of() instead of passing a string

ggml : use vaddvq_f32 for slightly more efficient reduce

ggml : add f16 acceleration for POWER9 ppc64le

models : fix support for spaces in path (close #315)

whisper : use emplace_back in place of push_back (#319)

This avoids potential construction of temporaries.

whisper : fix mem leak on failure to load model (#318)

ggml : make consts static (#317)

These shouldn't be able to be referenced outside the compilation unit.

Update README.md

Add SwiftUI example links

examples : add whisper.swiftui demo app (#308)

* Add SwiftUI demo project.

* Add -DGGML_USE_ACCELERATE

Update README.md

Add bindings links / discussions

minor : small code cleanups (#302)

* Small code cleanups

- fix indentation
- remove extra semicolons
- remove extra break after returns in case statements
- remove unnecessary call to .data() on string
- use empty() instead of checking size()
- no need to check for nullptr before free
- remove unnecessary initialization of string to ""

* minor : switch case always break

Co-authored-by: Georgi Gerganov <redacted>

minor : flag "ARM FMA" -> "ARM_FMA"

Build a vfpv4 library for armeabi-v7a and do runtime detection to select the right library

Check for both __ARM_NEON and __ARM_FEATURE_FMA so that the project can be compiled for armv7a.

Android armeabi-v7a's NEON support doesn't support FMA unless configured with `-mfpu=neon-fp-armv8`, which would need runtime checks.
* Also removed ABI filter from Android project.

Bump NDK version

whisper : use nullptr (C++11) instead of NULL macro (#299)

cmake : add headers to target (#298)

This will show the header files in IDEs.

go : run `go mod tidy` before building examples + fix permissions (#296)

* run `go mod tidy` before building examples

Running `make examples` after cloning the repository gives the following
error:

```
...
[100%] Built target whisper
gmake[3]: Leaving directory '/tmp/exp/whisper.cpp/bindings/go/build'
gmake[2]: Leaving directory '/tmp/exp/whisper.cpp/bindings/go/build'
gmake[1]: Leaving directory '/tmp/exp/whisper.cpp/bindings/go/build'
Build example go-model-download
Build example go-whisper
examples/go-whisper/process.go:11:2: missing go.sum entry for module providing package github.com/go-audio/wav (imported by github.com/ggerganov/whisper.cpp/bindings/go/examples/go-whisper); to add:
        go get github.com/ggerganov/whisper.cpp/bindings/go/examples/go-whisper
make: *** [Makefile:26: examples/go-whisper] Error 1
```

* remove executable bit from various files

bindings : initial import of golang bindings (#287)

* Initial import of golang bindings

* Updated makefile rules

* Updated bindings

* Makefile update to add in more tests

Update README.md

cmake : enable and fix  -Wall -Wextra -Wpedantic C++ warnings

minor : resolves some of warnings when compiling with clang/clang++ (#294)

* Resolves some of warnings when compiling with clang/clang++

Mostly nit stuff that clang catches when compiling with -Wall -Wextra
-pedantic.

- Fix comparison between sign/unsigned integers.
- Passes a constant reference (const&) instead of copying each time.

* minor : normalize coding style

* minor : fix warning

Co-authored-by: Georgi Gerganov <redacted>

release : v1.0.4

Add AVX,AVX2 support for ggml_vec_scale_f32

make : revert accidental change of optimization flags

whisper : language auto-detect (#59)

Add Roadmap

ggml : implement ggml_compute_forward_dup_f16() special cases

main : add option to print the progress (#276)

main : add "--prompt" command line argument (#90)

This allows to provide an initial prompt to be used at the start of the
processing.

command : better indentation