main : log probs to text file (#1205)

* token/probability file generated with -ls

* code comment cleaning

* main : indentations

---------

Co-authored-by: Georgi Gerganov <redacted>

whisper : minor fixes (#1154)

build : fix OpenBLAS detection under Arch Linux (#1173)

make : fix Linux machines supporting AVX1 not AVX2 (#1162)

e.g. ancient CPU E5-2670 (v1)

See issue #1126

Co-authored-by: Georgi Gerganov <redacted>

whisper : add precalculated values of sin/cos for speeding up FFT (#1142)

* Add sin/cos precalculated values to speedup FFT

* Update whisper.cpp

Co-authored-by: bobqianic <redacted>
* Update whisper.cpp

Co-authored-by: bobqianic <redacted>
---------

Co-authored-by: Georgi Gerganov <redacted>
Co-authored-by: bobqianic <redacted>

make : simplify Makefile (#1147)

* Simplify Architecture specific in Makefile

* unified OS specific check

cmake : fix PowerPC build failures introduced in #1174 (#1196)

Fix AVX etc. under GCC/CMake (#1174)

quantize : fix load vocab crash when len is 128 (#1160)

* quantize : fix load vocab crash when len is 128

* ci : add quantize job

examples : add tinydiarization support for streaming (#1137)

cmake : fix MSVC compile error C3688 (#1136)

Instead of simply using 'add_compile_options(/utf-8)' to address the MSVC compile error C3688, a better approach would be to handle it in a way that prevents passing '/utf-8' to NVCC.

Revert "cmake : fix MSVC compile error C3688 on non-unicode Windows (#1110)"

This reverts commit fe5c1a7341a973107c1e38286c287d32090082db.

whisper : fix visibility warning of struct whisper_full_params by declaring in advance (#1124)

cmake : enable OpenBLAS on Windows (#1128)

Fixed the issue of not being able to find OpenBLAS on the Windows platform. Even though the name of the previously released binary file was whisper-blas-bin-x64.zip, BLAS was actually not enabled. After enabling, the inference speed can increase by 3-4 times.

make : fix CLBlast build on MacOS (#1120)

make : check nvcc version and set flag (#1115)

go : implement SetSplitOnWord (#1114)

* Go binding: Implement SetSplitOnWord

* Add comment for consistency

make : tests can be called as "make tests base.en" (#1113)

cmake : fix MSVC compile error C3688 on non-unicode Windows (#1110)

Co-authored-by: Gang Chen <redacted>

readme : add OpenVINO support details (#1112)

opencl : sync opencl compilation fix in ggml (#1111)

samples : add a larger (30min) sample (#1092)

Co-authored-by: Vadim Peretokin <redacted>

whisper : expose API to let user control log output (#1060)

* expose api to let user control log output

Add
  whisper_set_log_callback()
that lets user set a callback for log messages.

Change all the
  fprintf(stderr, ...)
to call via the above.

* whisper : add <cstdarg>

---------

Co-authored-by: Georgi Gerganov <redacted>

whisper : move progress calculation out of whisper.cpp (#1081)

Current `progress_step` was hardcoded into whisper.cpp, this resulted in
bindings having to access progress only at that step even if progress
callback was being called at every iteration.

With this change we get greater granularity progress reporting from
whisper.cpp and bindings/implementations can define their own progress step.

examples : add Vim plugin (#1131)

* Initial proof of concept Vim plugin

At present, this is likely only slightly better than feature parity with
the existing whisper.nvim

Known issues:
 Trailing whitespace
 Up to an existing length(5 seconds) of speech may be processed when
  listening is enabled
 CPU cycles are spent processing speech even when not listening.

Fixing these issues is likely dependent upon future efforts to create a
dedicated library instead of wrapping examples/stream

* Support $WHISPER_CPP_HOME environment variable

A minor misunderstanding of the whisper.nvim implementation resulted in
a plugin that was functional, but not a drop in replacement as it should
be now.

ci : more platforms coverage (#1101)

* add multi platform

* add image name

* fix

* fix /bin/sh path

* add missing \

* add all platforms for check

* remove platforms

* remove s390x

* - add arm v6
- format run cmd

* remove arm v6

* - bump checkout to v3
- use setup emsdk action
- add arch to all ubuntu jobs

* mymindstorm/setup-emsdk to v12

* add missing QEMU step

* add fail-fast: false for debug

* add freebsd

* remark all jobs except freebsd for test

* add sudo

* enable all tests again

* format

* check __AVX__ support before include immintrin.h

* try auto detect flag by cmake

* fix check for immintrin.h

* fix include check for immintrin.h

* Remove all platforms for sanitizer build except amd64

We have no clue why they failed.

---------

Co-authored-by: Alon Faraj <redacted>

whisper : minor OpenVINO refactoring (#1037)

Hopefully I didn't break something - haven't tested

go : call SetDuration appropriately (#1077)

go : fix context.Process call in examples (#1067)

whisper : add OpenVINO support (#1037)

* openvino: use OpenVINO encoder inference

* openvino: add python script for OpenVINO model generation

* whisper: Fix 'unused' warnings when OpenVINO isn't enabled in build

* Apply suggestions from code review

Co-authored-by: Georgi Gerganov <redacted>
* whisper: Fix compilation error

* whisper: revert whisper_get_openvino_path_encoder & whisper_get_openvino_path_cache to non-const func signatures

* cmake: Add openvino-encoder as separate object target

* whisper : minor style fixes

* minor : indentation fixes

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : better wording (#1064)

readme : add tinydiarize instructions (#1058)

whisper : support speaker segmentation (local diarization) of mono audio via tinydiarize (#1058)

* add HuggingFace mirror to download  ggml model

* support tdrz via simple hack overriding solm tokens

* fix incorrect translate/transcribe token_ids that are not static const

* add apollo 13 sample for tdrz demo

* render [SPEAKER TURN] consistently in all terminal output using vocab.id_to_token

* extend whisper_segment with speaker_turn_next field and save in json output

* fix failing go build

* slipped in some python syntax whoops

* whisper : finalize tinydiarize support (add flag + fixes)

* whisper : tdrz support for word-level timestamps (respect max_len)

* java : try to fix tests after adding tdrz_enable flag

* main : remove TODO leftover

* java : fix params order list after adding "tdrz_enable"

* whisper : fix solm and add nosp token

* main : print tinydiarize help

---------

Co-authored-by: Georgi Gerganov <redacted>

talk-llama : fix new rope interface

Revert "ggml : do not use _GNU_SOURCE gratuitously (#1027)"

This reverts commit 3f7a03ebe3b65be0792849e300a122f6a050e3f8.

ggml : sync latest repo (mostly refactoring changes)

talk-llama : fix build on macOS (#1062)

* talk-llama : use posix_madvise() instead of madvise() derived from BSD

sed -i 's,\<madvise\>,posix_&,g;s,\<MADV_,POSIX_&,g' examples/talk-llama/llama-util.h

* make : enable Darwin extensions for macOS builds

This is an attempt at fixing macOS build error coming from the fact that
RLIMIT_MEMLOCK define is not available there without Darwin extensions.

extra : update 'quantize-all.sh' to quantize all downloaded models (#1054)

Script will now do what it says: quantize everything except testing models in the 'models'  directory.

whisper : `split_on_word` no longer trims (#1046)

ggml : do not use _GNU_SOURCE gratuitously (#1027)

* Do not use _GNU_SOURCE gratuitously.

What is needed to build whisper.cpp and examples is availability of
stuff defined in The Open Group Base Specifications Issue 6
(https://pubs.opengroup.org/onlinepubs/009695399/) known also as
Single Unix Specification v3 (SUSv3) or POSIX.1-2001 + XSI extensions.

There is no need to penalize musl libc which simply follows standards.

Not having feature test macros in source code gives greater flexibility
to those wanting to reuse it in 3rd party app, as they can build it with
minimal FTM (_XOPEN_SOURCE=600) or other FTM depending on their needs.

It builds without issues in Alpine (musl libc), Ubuntu (glibc), MSYS2.

* examples : include SDL headers before other headers

This is an attempt at fixing macOS build error coming from SDL2 relying
on Darwin extension memset_pattern4/8/16 coming from Apple's string.h.

talk-llama : fix build after ggml sync (#1049)

sed -i 's,GGML_BACKEND_CUDA,GGML_BACKEND_GPU,g' examples/talk-llama/llama.cpp

metal : sync ggml-metal (ref #1047)

opencl : sync latest ggml-opencl

whisper : fix build with -Werror=undef (#1045)

models : add ggml_to_pt script (#1042)

* adding ggml_to_pt

* typo sys too many args

* fixing swap errors dimensions

---------

Co-authored-by: simonMoisselin <redacted>

models : cd statements are quoted to allow spaces in path (#1041)

models : handle paths with spaces in download script (close #1038)

main : add diarization support for all current output types (#1031)

Co-authored-by: Georgi Gerganov <redacted>

readme : add java alternative binding (#1029)

Signed-off-by: Miguel Álvarez <redacted>

go : add support for whisper_full_lang_id() (#1010)

* * Add support for whisper_full_lang_id() to go bindings

* Expose token.id so we can test beg, eot etc

---------

Co-authored-by: Jay Binks <redacted>

go : fix "cb" -> "callNewSegment"

ggml : sync latest ggml lib

go : improve progress reporting and callback handling (#1024)

- Rename `cb` to `callNewSegment` in the `Process` function
- Add `callProgress` as a new parameter to the `Process` function
- Introduce `ProgressCallback` type for reporting progress during processing
- Update `Whisper_full` function to include `progressCallback` parameter
- Add `registerProgressCallback` function and `cbProgress` map for handling progress callbacks

Signed-off-by: appleboy <redacted>

make : update cuBLAS build both x86 and aarch64 (#1015)

make cuBLAS compilation compatible with x86 as well as aarch64.

make : fix for CUDA native not working as an option on Ubuntu (#1012)

main : exit gracefully when invalid params are passed

* Refactor whisper_params_parse to return false on failure

* Updated help flag behavior

main : gracefully exit when invalid params are passed (#1002)

* Refactor whisper_params_parse to return false on failure

* Updated help flag behavior

py : make convert-pt-to-ggml.py backwards compatible with older vocab.json tokenizer files (#1001)

* patch checkpoint convert script to keep compatibility with older hf_transformers whisper tokenizer

* typo fix

readme : corrected syntax for markdown link (#995)

updated java README

`speak` scripts for Windows

updated README for java

whisper.android : support decode wav file has 2 channels (#972)

Feature/java bindings2 (#944)

* Java needs to call `whisper_full_default_params_by_ref()`, returning struct by val does not seem to work.
* added convenience methods to WhisperFullParams
* Remove unused WhisperJavaParams

models : fix README.md (#964)

Fixes typo on line 76 of models/README.md

examples : update elevenlabs scripts to use official python API (#837)

* Update elevenlabs example to use ufficial python API

* Update elevenlabs example to use official python API

readme : highlight OpenBLAS support (#956)

* highlight openblas support

* Update README.md

talk-llama : sync latest llama.cpp (close #922, close #954)

cmake : build with any BLAS compatible library (#927)

* Build with any BLAS library

* ci: Removed explicit CUDA nvcc path

ggml : update WASM SIMD

ggml : sync latest ggml repo

- new Q4 and Q8 quantization
- updated CUDA

bindings : add java bindings (#931)

* WIP - java bindings

* updated README

* failed attempt at JNI

* fullTranscribe() test passes

* tested on Ubuntu 20

* link to Java bindings

whisper : fix hebrew language code (#935)

coreml : add support of large-v1 model (#926)

release : v1.4.2

ggml : add AVX dot products

talk-llama : fix build + sync latest llama.cpp

readme : improve Core ML model conversion guidance (#915)

coreml : support quantized model files

ggml : sync latest ggml

- New Q4 and Q5 formats
- Various improvements

main : fix help for --no-timestamps arg (#908)

extra : update ggml sync script

whisper.objc : enable Core ML in example & fix segmentation fault (#910)

* coreml : update endcoder header import path

* coreml : force objc_arc in whisper-encoder.mm

* whisper.objc : create coreml/ group link

* whisper.objc : add coreml model link

* whisper.objc : update readme

* coreml : use -fobjc-arc for coreml/whisper-encoder.mm

* ci: create dummy .mlmodelc for pass ios build

* whisper.objc : update readme

---------

Co-authored-by: Georgi Gerganov <redacted>

coreml : fix seg fault, double free (#919, #917, #899)

coreml : fix memory leak (#899)

cmake : fix define used for COREML_ALLOW_FALLBACK (#893)

talk-llama : only copy used KV cache in get / set state (#890)

---------

Co-authored-by: ejones <redacted>

readme : add instructions on converting to GGML + "--no-config" to wget (#874)

cmake : fix options disabling AVX and AVX2 flags (#885)

cmake : add options to disable CPU flags (#860)

ci : add cuBLAS build workflow and fix error causing lines in CMakeLists (#867)

* Add windows build with cuBLAS

* Remove error causing lines for cuBLAS on Windows

readme : partial OpenCL GPU support via CLBlast (#863)

* ggml : CLBlast support as in llama.cpp

Building with CLBlast speeds up whisper.cpp ~2x on low end / older AMD APUs (CPU with integrated GPU) such as the A9.

Usage:
WHISPER_CLBLAST=1 make

* CMake/Makefile : CLBlast support as in llama.cpp

Building with CLBlast speeds up whisper.cpp ~2x on low end / older AMD APUs (CPU with integrated GPU) such as the A9.

Usage:
```
Makefile:
cd whisper.cpp
WHISPER_CLBLAST=1 make

CMake:
cd whisper.cpp ; mkdir build ; cd build
cmake -DWHISPER_CLBLAST=ON  ..
make
```

* Update README.md

Added OpenCL Build Instructions

* Instruction: Partial OpenCL GPU support via CLBlast

Added build instructions and examples for Make and CMake to support OpenCL enabled GPUs.

build : CLBlast support as in llama.cpp  (#862)

* ggml : CLBlast support as in llama.cpp

Building with CLBlast speeds up whisper.cpp ~2x on low end / older AMD APUs (CPU with integrated GPU) such as the A9.

Usage:
WHISPER_CLBLAST=1 make

* CMake/Makefile : CLBlast support as in llama.cpp

Building with CLBlast speeds up whisper.cpp ~2x on low end / older AMD APUs (CPU with integrated GPU) such as the A9.

Usage:
```
Makefile:
cd whisper.cpp
WHISPER_CLBLAST=1 make

CMake:
cd whisper.cpp ; mkdir build ; cd build
cmake -DWHISPER_CLBLAST=ON  ..
make
```

ggml : fix 32-bit ARM build + quantization

ggml : sync ggml (clBLAST + tensor names)

talk-llama : fix session prompt load (#854)

whisper : add detect-language mode (#853)

* add detectlanguage flag

* renaming and help

* no idea why that last one didn't commit

* run language detection if dl is set

* help message fix

* various fixes

* fix quitting

* fix language being english on print

talk-llama : add --session support (#845)

* feat: adding session support

* readme: adding --session info in examples/talk-llama

* llama: adding session fixes

* readme: updating session doc

* talk-llama: update the value of need_to_save_session to true in order to save the session in the subsequent interaction

* talk-llama: adding missing function which updates session_tokens

bench : improve benchmarks

whisper : add memory sizes for Q8_0 (close #846)