ggml : re-enable blas for src0 != F32 (#1583)

Server : Add support for .vtt format to Whisper server (#1578)

- The code comes from examples/main
- The output mimetype is set to text/vtt

Example usage:
```shell
curl 127.0.0.1:8080/inference \
-H "Content-Type: multipart/form-data" \
-F file="@samples/jfk.wav" \
-F temperature="0.2" \
-F response-format="vtt"
```

server : backport .srt output format (#1565)

This commit adds a support of .srt format to Whisper server. The code is
effectively backported from examples/main. The output mimetype is set to
application/x-subrip as per https://en.wikipedia.org/wiki/SubRip.

Example usage:

  curl 127.0.0.1:8080/inference \
    -H "Content-Type: multipart/form-data" \
    -F file="@<file-path>" \
    -F temperature="0.2" \
    -F response-format="srt"

cmake : install required ggml.h header (#1568)

server : set default CORS headers to allow all (#1567)

readme : update help (#1560)

CI : Add CUDA 11.8.0 support (#1554)

* try to fix cublas build in CI

* add multiple cuda-toolkit version

* Update build.yml

* Disable CUDA-toolkit 10.2.89

CI : Rectify the Clang-Related workflow issues (#1551)

* fix bugs in workflow

* fix missing clang in workflow

* Update build.yml

server : automatically convert audio on the server (#1539)

* server : automatically convert audio on the server

* server : remove rebundant comments

* server : automatic conversion refactor

* server : update server readme

* server : remove unnecessary comments and tabs

* server : put back remove calling

* server : apply suggestions from code review

Co-authored-by: Georgi Gerganov <redacted>
* server : check ffmpeg before the server lunch

* server : fix indentation

* Apply suggestions from code review

Co-authored-by: Georgi Gerganov <redacted>
* server : fix function typo calling

* server : fix function typo calling

* server : add warning in readme

---------

Co-authored-by: Georgi Gerganov <redacted>

whisper : remove trailing whitespaces

release : v1.5.1

metal : add backend function to check device family support (#1547)

cuda : sync some minor stuff from llama.cpp (#1548)

whisper : fix typo

server : add --print-realtime param (#1541)

* server : add --print-realtime param

* Fix duplicate realtime output

whisper : add whisper_lang_str_full (#1546)

* Update whisper.h

add whisper_lang_fullstr to retrieve the full language name

* Update whisper.cpp

add whisper_lang_fullstr to return the full language name

* fullstr -> str_full

---------

Co-authored-by: Georgi Gerganov <redacted>

fix(server): typo in temperature parameter (#1545)

Also fixed another typo in comments.

metal : fix build (#1544)

readme : add server example

go : fixed Makefile for MacOS ARM 64 (#1530)

* Fixed Makefile for MacOS ARM 64 based on https://github.com/ggerganov/whisper.cpp/issues/1344 + proper ggml-metal env var setting

* conditional to fix broken non-macos compilation

* spaces -> tab

* make : fix whitespaces

---------

Co-authored-by: Georgi Gerganov <redacted>

Change temp file name for server application (#1535)

Avoid issue of removing file if it exists in the current working
directory

bench : pass memcpy threads from cli

bench : multi-thread memcpy (#1534)

Close file after writing in server application (#1533)

Fix of mistake leaving file open while reading it again as wav

server : add video to readme

server : add a REST Whisper server example with OAI-like API (#1380)

* Add first draft of server

* Added json support and base funcs for server.cpp

* Add more user input via api-request

also some clean up

* Add reqest params and load post function

Also some general clean up

* Remove unused function

* Add readme

* Add exception handlers

* Update examples/server/server.cpp

* make : add server target

* Add magic curl syntax

Co-authored-by: Georgi Gerganov <redacted>
---------

Co-authored-by: Georgi Gerganov <redacted>

whisper : update example in whisper.h (#1529)

update the example in the header, previous examples deprecated.

sdl : fix audio callback (#1523)

whisper : reuse whisper_decode_with_state (#1521)

ci : redistribute CUDA DLLs (#1522)

see https://docs.nvidia.com/cuda/eula/index.html#attachment-a

whisper : fix with_state methods to use the correct state (#1519)

Co-authored-by: Sandro Hanea <redacted>

whisper : fix overriding the audio context

cuda : assert ggml_add sources to be contiguous

ios : sync submodule

sync : ggml (ggml-alloc + linker + gguf fixes) (#1501)

quantize : add support for K-quant types

bench : fix memcpy bench size

talk-llama : improve quote and backtick handling (#1364)

* ISSUE-1329: replace " with ' so it doesn't try to execute code in backticks.

* Typo

* Update to keep possessives in the output

Closes the ' then puts a ' in quotes then reopens the ' to escape the ' characters.

talk-llama : enable GPU by default

models : add info about distilled models

release : v1.5.0

bench-all : add distil models

js : latest whisper.js

bench-all : indentations

whisper : make large version explicit + fix data size units (#1493)

java : fix test (#1492)

whisper : add batched decoding (#1486)

* whisper : add whisper_batch

* whisper : move kv_self to whisper_state

* whisper : full batched decoding support

* whisper : fix memory leak in whisper_batch

* whisper : fix mem leak again + remove oboslete function

* whisper : clear kv cache when using whisper_decode API

* whisper : speed-up sampling

* whisper : fix decoders initializer

* bench : add batch size 5 bench

* whisper : add comment about the KV cache size

* whisper : add check for max number of decoders

* whisper : avoid starting sampling threads with bs=1

* whisper : enable beam-search by default

* cuda : sync llama.cpp fixes

java : use tiny.en for tests (#1484)

* java : use tiny.en for tests

* java : try to fix full params struct

whisper : add grammar-based sampling (#1229)

* whisper : add grammar-based sampling

* build : fix after master merge

* command : fix exception when recognizing the command

* whisper : fine-tuning grammar functionality

* command : grammar-related improvements

- option to read grammar from file
- add sample grammars for colors and chess moves
- fine-tune the performance further

* grammars : add assistant + update comments

* command : enable beam-search, add "no_timestamps", add "context", add p

* whisper : remove comment

---------

Co-authored-by: Georgi Gerganov <redacted>

talk-llama : add n_gpu_layers parameter (#1475)

examples : add whisper.android.java for compatibility with older Android versions using Java (#1382)

* save the recorded audio to a file

* Alignment -help

* Save the correct audio

* chage to a consistent coding style

* Correct typo

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* Correct variable misuse

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* add *.bin .cxx/ .gradle/ cmake-build-debug/ to gitignore

* add whisper.android.java

* Added support for older versions of Android of Java

* add examples for android java

* add README.md for android java

* add fullTranscribeWithTime

* 增加 toString()方法和测试

* change return type to void

* update to v1.4.1

* add WhisperService

* chage to whisper_full_get_segment_t1

* add method transcribeDataWithTime

* modified toString
```
return "[" + start + " --> " + end + "]:" + sentence;
```

* Optimize code logic

* update text view on handle

* set max lines

* change Chinese to English

* Update bindings/java/build.gradle

* Update .gitignore

* add android.java to github action

* chage android.java to   android_java in build.yml

* remove gradle

* chage jdk to temurin in android_java of CI

* chage jdk to temurin 11 in android_java of CI

* add x to gradlew

* set api-level for android_java of CI

* Update examples/whisper.android.java/app/src/main/jni/whisper/CMakeLists.txt

* add ndk version in build.gradle

* remove local.properties

* add testFullTranscribeWithTime

---------

Co-authored-by: litongmacos <redacted>
Co-authored-by: bobqianic <redacted>

readme : update comment about source code

ggml : fix some compile warnings

readme : update GPU / CUDA

whisper : add full CUDA and Metal offloading (#1472)

* whisper : migrate to ggml-backend

* whisper : fix logit reading

* whisper : fix tensor allocation during load

* whisper : fix beam-search with CUDA

* whisper : free backends + fix compile warning

* whisper : print when CUDA is enabled

* whisper : fix CoreML

* make : clean-up

* talk : fix compile warning

* whisper : support ggml_conv with CUDA and Metal (#1473)

* ggml : add CUDA support for ggml_conv

* whisper : remove ggml_repeat for conv bias + single backend

* cuda : fix im2col kernel

* metal : add im2col support + mul mat-vec f16 x f16

* bench-all : add q4 models

* whisper : clean-up

* quantize-all : fix

* ggml : im2col opts

* whisper : avoid whisper_model_data wrapper

* whisper : add note that ggml_mul_mat_pad does not work with CUDA

* whisper : factor out graph compute in common function

* whisper : fixes

* whisper : fix UB with measure buffers

* whisper : try to fix the parallel whisper_state functionality (#1479)

* whisper : try to fix the parallel whisper_state functionality

* whisper : fix multi-state Metal

* whisper : free backend instances in whisper_state

whisper : return with error from whisper_encode_internal and whisper_decode_internal when abort callback is true (#1456)

Co-authored-by: Ben Nortier <redacted>

talk-llama : add language auto detect (#1467)

* Add '-l auto' to talk-llama example

* Update examples/talk-llama/talk-llama.cpp

---------

Co-authored-by: Georgi Gerganov <redacted>

openvino : update convert-whisper-to-openvino.py to support v3 (#1459)

coreml : use the correct `n_mel` value (#1458)

whisper : reset mel time when resetting timings (#1452)

Co-authored-by: Ben Nortier <redacted>

ios : add support for Swift Package Manager (#1370)

* Add support for Swift

* Make it build in Xcode

* Use the SPM package in the SwiftUI example app

release : v1.4.3

ggml : fix MIN / MAX macro re-definition

whisper : add support for large v3 (#1444)

* whisper : add support for large v3

* bench : fix build + fix go bindings

* bench : fix n_mels

* models : update readme

android : decouple example into a library and app module (#1445)

whisper : reset ctx->t_start_us when calling whisper_reset_timings() (#1434)

Co-authored-by: Ben Nortier <redacted>

cmake : fix talk-llama build

metal : fix asserts for setThreadgroupMemoryLength (close #1435)

ci : fix variable names in GitHub actions config (#1440)

* Remove _SUPPORT from variables

* Change blasdir to OPENBLAS_PATH

* Update OpenBLAS URLs

talk-llama : fix n_gpu_layers usage again (#1442)

whisper : add missing about callback initializers

examples : fix n_gpu_layers usage in talk-llama (#1441)

whisper : add context param to disable gpu (#1293)

* whisper : check state->ctx_metal not null

* whisper : add whisper_context_params { use_gpu }

* whisper : new API with params & deprecate old API

* examples : use no-gpu param && whisper_init_from_file_with_params

* whisper.objc : enable metal & disable on simulator

* whisper.swiftui, metal : enable metal & support load default.metallib

* whisper.android : use new API

* bindings : use new API

* addon.node : fix build & test

* bindings : updata java binding

* bindings : add missing whisper_context_default_params_by_ref WHISPER_API for java

* metal : use SWIFTPM_MODULE_BUNDLE for GGML_SWIFT and reuse library load

* metal : move bundle var into block

* metal : use SWIFT_PACKAGE instead of GGML_SWIFT

* style : minor updates

---------

Co-authored-by: Georgi Gerganov <redacted>

whisper : add support for new distilled Whisper models (#1424)

* whisper : add support for new distilled Whisper models

* whisper : print log when using distilled models

cuda : fix HIPBLAS build

sync : ggml (backend v2, k-quants, CUDA opts, Metal opts, etc.) (#1422)

* sync : ggml (backend v2, k-quants, CUDA opts, Metal opts, etc.)

* metal : allow env metal variable to override resource path (#1415)

* Allow env variable to override resource path

* Update ggml-metal.m

---------

Co-authored-by: Georgi Gerganov <redacted>
* sync : restore common / main from `master`

* sync : restore whisper from `master`

* talk-llama : update to latest llama.cpp

* ruby : fix build

* ggml : fix 32-bit ARM build

* ggml : fix MIN / MAX macro collisions + update ios bindings

* ggml : fix ifdefs and MIN / MAX again

* exampels : fix Obj-C and Swift examples

* ggml : fix 32-bit ARM compatibility

* ggml : one more attempt to fix 32-bit ARM compat

* whisper : fix support for larger graphs

---------

Co-authored-by: Chris Raethke <redacted>

models : use absolute paths for the converted model (#1356)

talk-llama : move up-to-date demo to top (#1417)

talk-llama : add an up-to-date demo video

examples : Implement JSON output for Token-Level data in main (#1358)

models : Faster download for models on windows using BitTransfer (#1404)

README : Update README in stream to clarify where to compile from (Issue #1400)

* Clarify doc about where to compile from

* Update examples/stream/README.md

* Update examples/stream/README.md

* Update README.md

---------

Co-authored-by: AI @ Home <>
Co-authored-by: bobqianic <redacted>

binding : Expose the audio_ctx param through the Go binding (#1368)

* expose the audio_ctx param through the go binding

* expose the audio_ctx param to the go binding context

README : fix typo (#1362)

docker : Add dockerfile for cublas (#1286)

* Create Dockerfile

* Rename Dockerfile to cublas.Dockerfile

* Rename cublas.Dockerfile to .devops/cublas.Dockerfile

---------

Co-authored-by: bobqianic <redacted>

whisper : abort callback improvements (#1345)

* whisper : initialize abort_callback to null

* whisper : add example how to use abort_callback

cmake : Abort the build if a requested feature could not be configured (#1350)

cmake : Prefer pkg-config while looking for BLAS (#1349)

models : add conversion scripts from HuggingFace models to CoreML (#1304)

whisper : add abort callback (#1335)

examples : move wav_writer from stream.cpp to common.h (#1317)

* Allocate class on the stack instead of on the heap

* Add class wav_writer

* fix some minor issues

* fix some minor issues

* remove potential misleading API

whisper : add missing speaker turn API function for whisper_state (#1330)

examples: Update the README for Talk - fixing the gpt2 URL (#1334)

extra: Add benchmark script implemented in Python (#1298)

* Create bench.py

* Various benchmark results

* Update benchmark script with hardware name, and file checks

* Remove old benchmark results

* Add git shorthash

* Round to 2 digits on calculated floats

* Fix the header reference when sorting results

* FIx order of models

* Parse file name

* Simplify filecheck

* Improve print run print statement

* Use simplified model name

* Update benchmark_results.csv

* Process single or lists of processors and threads

* Ignore benchmark results, dont check in

* Move bench.py to extra folder

* Readme section on how to use

* Move command to correct location

* Use separate list for models that exist

* Handle subprocess error in git short hash check

* Fix filtered models list initialization

Examples: Add save audio to file option in stream.cpp (#1310)

* save the recorded audio to a file

* Alignment -help

* Save the correct audio

* chage to a consistent coding style

* Correct typo

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* Correct variable misuse

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

---------

Co-authored-by: bobqianic <redacted>

readme: Fix spelling error (#1290)

Fixed branding error:  Javascript to JavaScript

examples: Update README.md of main.cpp (#1306)

binding : fix ruby build by adding missing ggml-alloc (#1305)

bench: fix missing include <cstring> (#1303)

whisper : increase tokenizer buffer (close #1259)