release : v1.4.2

ggml : add AVX dot products

talk-llama : fix build + sync latest llama.cpp

readme : improve Core ML model conversion guidance (#915)

coreml : support quantized model files

ggml : sync latest ggml

- New Q4 and Q5 formats
- Various improvements

main : fix help for --no-timestamps arg (#908)

extra : update ggml sync script

whisper.objc : enable Core ML in example & fix segmentation fault (#910)

* coreml : update endcoder header import path

* coreml : force objc_arc in whisper-encoder.mm

* whisper.objc : create coreml/ group link

* whisper.objc : add coreml model link

* whisper.objc : update readme

* coreml : use -fobjc-arc for coreml/whisper-encoder.mm

* ci: create dummy .mlmodelc for pass ios build

* whisper.objc : update readme

---------

Co-authored-by: Georgi Gerganov <redacted>

coreml : fix seg fault, double free (#919, #917, #899)

coreml : fix memory leak (#899)

cmake : fix define used for COREML_ALLOW_FALLBACK (#893)

talk-llama : only copy used KV cache in get / set state (#890)

---------

Co-authored-by: ejones <redacted>

readme : add instructions on converting to GGML + "--no-config" to wget (#874)

cmake : fix options disabling AVX and AVX2 flags (#885)

cmake : add options to disable CPU flags (#860)

ci : add cuBLAS build workflow and fix error causing lines in CMakeLists (#867)

* Add windows build with cuBLAS

* Remove error causing lines for cuBLAS on Windows

readme : partial OpenCL GPU support via CLBlast (#863)

* ggml : CLBlast support as in llama.cpp

Building with CLBlast speeds up whisper.cpp ~2x on low end / older AMD APUs (CPU with integrated GPU) such as the A9.

Usage:
WHISPER_CLBLAST=1 make

* CMake/Makefile : CLBlast support as in llama.cpp

Building with CLBlast speeds up whisper.cpp ~2x on low end / older AMD APUs (CPU with integrated GPU) such as the A9.

Usage:
```
Makefile:
cd whisper.cpp
WHISPER_CLBLAST=1 make

CMake:
cd whisper.cpp ; mkdir build ; cd build
cmake -DWHISPER_CLBLAST=ON  ..
make
```

* Update README.md

Added OpenCL Build Instructions

* Instruction: Partial OpenCL GPU support via CLBlast

Added build instructions and examples for Make and CMake to support OpenCL enabled GPUs.

build : CLBlast support as in llama.cpp  (#862)

* ggml : CLBlast support as in llama.cpp

Building with CLBlast speeds up whisper.cpp ~2x on low end / older AMD APUs (CPU with integrated GPU) such as the A9.

Usage:
WHISPER_CLBLAST=1 make

* CMake/Makefile : CLBlast support as in llama.cpp

Building with CLBlast speeds up whisper.cpp ~2x on low end / older AMD APUs (CPU with integrated GPU) such as the A9.

Usage:
```
Makefile:
cd whisper.cpp
WHISPER_CLBLAST=1 make

CMake:
cd whisper.cpp ; mkdir build ; cd build
cmake -DWHISPER_CLBLAST=ON  ..
make
```

ggml : fix 32-bit ARM build + quantization

ggml : sync ggml (clBLAST + tensor names)

talk-llama : fix session prompt load (#854)

whisper : add detect-language mode (#853)

* add detectlanguage flag

* renaming and help

* no idea why that last one didn't commit

* run language detection if dl is set

* help message fix

* various fixes

* fix quitting

* fix language being english on print

talk-llama : add --session support (#845)

* feat: adding session support

* readme: adding --session info in examples/talk-llama

* llama: adding session fixes

* readme: updating session doc

* talk-llama: update the value of need_to_save_session to true in order to save the session in the subsequent interaction

* talk-llama: adding missing function which updates session_tokens

bench : improve benchmarks

whisper : add memory sizes for Q8_0 (close #846)

whisper.wasm : fix typo in readme (#832)

release : v1.4.1

whisper : fix quantize bug (#842)

* whisper : debug

* whisper : fix bug during quantization

ggml : fix UB (int << 31)

release : v1.4.0

examples : fix + refactor Levenshtein distance

whisper : add integer quantization support (#540)

* whisper : add integer quantization support

* examples : add common-ggml + prepare to add "quantize" tool

* whisper : quantization tool ready

* whisper : fix F32 support

* whisper : try to fix shared lib linkage

* wasm : update quantized models to Q5

* bench.wasm : remove "medium" button

* bench.wasm : fix custom model button

* ggml : add Q5_0 and Q5_1 WASM SIMD

* wasm : add quantized models to all WASM examples

* wasm : bump DB version number to 2

* talk-llama : update example to latest llama.cpp

* node : increase test timeout to 10s

* readme : add information for model quantization

* wasm : add links to other examples

whisper : add GPU support via cuBLAS (#834)

* make : add WHISPER_CUBLAS

* make : fix CUBLAS build

* whisper : disable Flash Attention + adjust memory buffers

* whisper : remove old commented code

* readme : add cuBLAS instructions

* cmake : add WHISPER_CUBLAS option

* gitignore : ignore build-cublas

ggml : fix WASM build

ggml : fix 32-bit ARM NEON (#836)

* ggml : add support for 32-bit ARM

* ggml : fix

* ggml : fix

ggml : use vzip instead of vuzp for consistency

ggml : fix WASM build

ggml : sync with ggml repo (warning fixes + asserts)

whisper : use correct seek_end when offset is used (#833)

Whenever an `offset_ms` is provided, the value of `seek_end` is
calculated incorrectly. This causes Whisper to keep transcribing
after the end of the file.

The current behavior looks like
```
[00:34:40.000 --> 00:34:47.000]   This is an example audio file.
[00:34:47.000 --> 00:34:49.000]   The text has been redacted
[00:34:49.000 --> 00:34:51.000]   This is the end of the audio.
[00:34:51.000 --> 00:34:52.000]   ***
[00:34:52.000 --> 00:34:53.000]   ***
[00:34:53.000 --> 00:34:54.000]   ***
[00:34:55.000 --> 00:34:56.000]   ***
...
```

The expected behavior should be
```
[00:34:40.000 --> 00:34:47.000]   This is an example audio file.
[00:34:47.000 --> 00:34:49.000]   The text has been redacted
[00:34:49.000 --> 00:34:51.000]   This is the end of the audio.
- end of program -
```

This commit changes the calculation of the `seek_end` variable to
only add `seek_start` if a custom `duration_ms` is provided.
Otherwise, it defaults to the end of the file.

Signed-off-by: Thijs Raymakers <redacted>

tests : add "threads" to run-tests.sh

extra : add sync-ggml.sh script

ggml : sync latest ggml + llama.cpp updates (quantization)

whisper.android : add some tips (#816)

build : add WHISPER_COREML_ALLOW_FALLBACK to make / CMake (#812)

whisper : allow non-CoreML fallback when Core ML cannot be loaded (#812)

if the Core ML model cannot be loaded, continue without Core ML instead of
returning. This allows a single build to transcribe using Core ML models
where available, and regular models when not.

whisper : fix bug from previous commit

whisper : avoid designated initializers

minor : improve C++ and Python style (#768)

* use some STL functions

* use self.field than setattr, use pathlib.Path

* recover some format

* const some iter

* Keep the original

* 2 space

readme : add logo

main : escape quotes in csv output (#815)

stream : flush upon finishing inference (#811)

examples : add missing #include <cstdint> (#798)

common.cpp uses uint8_t and uint64_t, which are defined in <cstdint>.

main : update escape_double_quotes() function (#776)

Updated the escape_double_quotes() function such that the function now escapes both double quotes and backslashes in the input string.

Changes Made:

- Renamed the function to escape_quotes_and_backslashes

- Modified the condition in the first loop to increment the value of 'escaped_length' for both double quotes and backslashes.

- Modified the condition in second loop to add a backslash before the current character if it is a double quote or a backslash.

Resolves: #769

release : v1.3.0

whisper : pad audio instead of spectrogram (#579)

Also, fallback only if more temperatures are available and if we are
at least 3 seconds before the end of the audio

whisper : restore decoder temperature fallbacks

I disabled this because there were many complaints about slow decoding.
The current implementation does not allow batching the decoders when
using the "best of" or "beam size" parameters, so the decoding time is
proportional to the number of decoders, which is obviously not great.

However, now there are even more complaints about wrong decodings and
repetition.

So, making a compromise by re-enabling the fallbacks, but defaulting to
just 2 "best of" / "beam size" decoders. Also, the temperature step is
increased from 0.2 to 0.4 - i.e. from maximum of 5 fallbacks to maximum
of 2.

Also, the stream example now has fallbacks enabled by default.

close #471 #477 #508 #612 #719 #731

ggml, ci : fix build on whisper.android (ARM_NEON) + add CI (#764)

* ggml : fix undefined symbol by remove inline handle

* ggml : make own ggml_aligned_malloc function

* ci: add ios/android build

whisper : slightly faster Log Mel computation + n-1 FFT threads (#568)

readme : fix link

readme : add usage instructions for Core ML

whisper : add Core ML support (#566)

* coreml : use Core ML encoder inference

* coreml : simlpify whisper_encode + log messages

* whisper : resolve rebase conflicts

* coreml : add scripts for CoreML model generation

* bench-all : recognize COREML flag

whisper : do not launch log_mel threads when n_thread is 1 (#763)

whisper : fix the bug related to word splitting errors in the "tokenize" function. (#760)

Co-authored-by: AfryMask <redacted>

readme : add SwiftWhisper to listed bindings (#755)

gitignore : add .test

whisper : fix potential memory leaks (#740)

* fix potential memory leak if whisper_init_state failed

* fix potential memory leak if gpt2_init failed

license : update year (#739)

whisper : fix typos in whisper.h (#737)

Fixed a couple of typos (in comments, so nothing major). Keep up the great work 😄

stream : support language auto-detect (#501)

#445  fix Language auto-detect "auto" flag does not work using the stream tool

readme : add unity bindings (#733)

talk, talk-llama : add basic example script for eleven-labs tts (#728)

models : change convert-pt-to-ggml to use .tiktoken tokenizer files (#725)

cmake : add msvc compiler args /utf-8 fix error C3688 (#721)

* force msvc compiler use utf-8 encode

* only enable on msvc

talk-llama : correct default speak.sh path (#720)

There is `speak.sh` file in `./examples/talk-llama` as described in README.
However `./examples/talk/speak.sh` is used in `talk-llama.cpp`, this commit corrects that.

main : add lrc output support (#718)

* add lrc output support.

* fix wrong comment

readme : make the quick start instructions clearer. (#716)

Users wanting to make use of this implementation of the whisper model with no prior knowledge of C/C++ may download the Whisper model but fail to use of the "make" command as specified given that they forgot or didn't know they needed to clone the repository first. Hope this modification clears things up.

make : disable avx in case f16c is not available (#706)

Why:

* ggml.c does not support AVX without F16C

readme : add shell command example for --print-colors (#710)

The section of the readme file explaining `--print-colors` includes only a screenshot with directories that are inconsistent with other examples. This commit adds an example shell command, consistent with the remaining examples.

ggml : sync latest ggml

whisper : fix bug in prompt processing (close #705)

Was dereferencing a dangling pointer

go : exposed various parts to the Go Interface (#697)

ggml : fix q4_1 dot product types (#759)

Co-authored-by: Georgi Gerganov <redacted>

ggml : sync latest changes from ggml and llama.cpp

ggml : fix WASM build

talk-llama : increase context to 2048

talk-llama : update to latest llama.cpp (improved performance)

ggml : backport llama.cpp updates (close #709)

- About x2 overall performance improvement on Apple Silicon
- Results should now be the same for different number of threads (not
  tested)

whisper : add progress callback (#600)

misc : typo (#688)

talk-llama : fixing usage message for talk-llama (#687)

"-ml" instead of "-mg" for specifying the llama file

main : add <cstring> header

whisper.addon : fixed test to new async implementation (#686)

* fixed blocking code on node addon

* modify the example to run async

* format

* added logic to see the whisper output

* added logic to see the whisper output

* removed extra function for more clean example

* fixed whisper test to new async implementation

models : handle spaces and special characters in shell script paths (#677)

This commit modifies the `get_script_path` function to correctly handle
spaces and special characters in directory paths. The fix involves adding
double quotes around variables and commands where needed to ensure proper
parsing of paths with spaces and special characters.

main : fix typo in JSON output (#648)

* typo in JSON output

* fix double quotes in JSON output

whisper : add initial_prompt param (#645)

make : 32-bit ARM flags (#486)

* issue #470 - working 32-bit ARM

* Update Makefile

* Update Makefile

---------

Co-authored-by: Georgi Gerganov <redacted>

whisper.swiftui : update README.md (#682)

- Slight tweaks to README for improved comprehension.

talk-llama : add alpaca support (#668)

whisper : bump "large" scratch buffer even mode (close #671)