scripts : do not sync commits from this repo

ci : build with CLBlast + ggml-opencl use GGML_API (#1576)

* Build with CLBlast

* Declare GGML_API

After rebasing, examples/talk-llama failed:

"D:\a\whisper.cpp\whisper.cpp\build\ALL_BUILD.vcxproj" (build target) (1) ->
"D:\a\whisper.cpp\whisper.cpp\build\examples\talk-llama\talk-llama.vcxproj" (default target) (14) ->
(Link target) ->
  llama.obj : error LNK2019: unresolved external symbol ggml_cl_free_data referenced in function "public: __cdecl llama_model::~llama_model(void)" (??1llama_model@@QEAA@XZ) [D:\a\whisper.cpp\whisper.cpp\build\examples\talk-llama\talk-llama.vcxproj]
  llama.obj : error LNK2019: unresolved external symbol ggml_cl_transform_tensor referenced in function "public: void __cdecl llama_model_loader::load_all_data(struct ggml_context *,void (__cdecl*)(float,void *),void *,struct llama_mlock *)" (?load_all_data@llama_model_loader@@QEAAXPEAUggml_context@@P6AXMPEAX@Z1PEAUllama_mlock@@@Z) [D:\a\whisper.cpp\whisper.cpp\build\examples\talk-llama\talk-llama.vcxproj]
  D:\a\whisper.cpp\whisper.cpp\build\bin\Release\talk-llama.exe : fatal error LNK1120: 2 unresolved externals [D:\a\whisper.cpp\whisper.cpp\build\examples\talk-llama\talk-llama.vcxproj]

whisper : replace `tensor->n_dims` with `ggml_n_dims(tensor)` (#1694)

sync : ggml (VMM, sync-ggml-am, dotprod ARM fixes, CUDA fixes) (#1691)

* scripts : add sync-ggml-am.sh

* sync : ggml (VMM, ARM dot prod fix, etc.)

* build : fix CUDA build

* ggml : fix some mul mat cases + add tests for src1 F16

https://github.com/ggerganov/ggml/commit/dbd02958fa4f46898f68ca29c27ddcdc58a06f98

download : fix large q5 model name (#1695)

fixed typo in large-v3-q5-0 model name to match HF link

whisper : Replace WHISPER_PRINT_DEBUG with WHISPER_LOG_DEBUG (#1681)

sync : ggml (ggml_scale, ggml_row_size, etc.) (#1677)

* sync : ggml

* sync : llama.cpp

* talk-llama : fix obsolete param

* ggml-alloc : fix ggml_tallocr_is_own

* talk.wasm : update to new ggml

* ggml : fix type punning in ggml_scale

* ggml : cuda jetson + arm quants warnings

docker :  Dockerize whisper.cpp (#1674)

* build: add dockerfile for ci

* ci: add action to build/push docker image

* fix: lowercase repository to fix ci

* ci: update cuBLAS flag

* build: install curl and ffmped in image

* docs: add docker section

* fix: improve args check when download model

CI : Add coverage for talk-llama when WHISPER_CUBLAS=1 (#1672)

examples : Revert CMakeLists.txt for talk-llama (#1669)

cmake : set default CUDA architectures (#1667)

bench.py : add different large models (#1655)

Amend different large v1,v2,v3 models to benchmark.

wchess : update README.md

release : v1.5.2

wchess : update readme

wchess : whisper assisted chess (#1595)

* wchess: whisper assisted chess

* wchess: fix allowed moves in check

* wchess: touchstart, touchend events

* wchess: css, disabled button

* wchess : html touches

* wchess : minor fixes and code style

* wchess : bump encoder context to 1280

* wchess : index.html

* wchess : fix CI warnings

* wchess : add array header

* wchess : build static library

* wchess : display grammar

* wchess : update UX

* wchess : add comment

* wchess : add README

---------

Co-authored-by: Georgi Gerganov <redacted>

sync : ggml (Metal fixes, new ops, tests) (#1633)

* sync : ggml (Metal fixes, new ops, tests)

* cuda : fix bin bcast when src1 and dst have different types

cmake : target windows 8 or above for prefetchVirtualMemory in llama-talk (#1617)

Since we use prefetchVirtualMemory we specify we target win 8 or above, otherwise other compilers will refuse to use the prefetchVirtualMemory api, (I understand you are loading it dynamically but the header definition has this limitation)

cmake : Fix bug in httplib.h for mingw (#1615)

Fix bug in httlib.h for mingw, please see https://github.com/yhirose/cpp-httplib/issues/1669

metal : fix `ggml_metal_log` vargs (#1606)

whisper.objc : disable timestamps for real-time transcription

whisper : more debug messages + fix fallback logic

metal : fix soft_max kernel src1 argument (#1602)

sync : ggml (new ops, new backend, etc) (#1602)

* sync : ggml (new ops, new backend, etc)

* whisper : remove obsolete broadcasting code

* ggml : remove backend self-registers + fix ggml_concat + n_task logic

* metal : fix assert

* metal : print resource path

* whisper : fix bug if metal init fails

server : pass max-len argument to the server (#1574)

This commit fixes the missing parameter binding for max-len between the input
arguments and wparams.

ios : Remove `#if arch(arm)` check for using Metal (#1561)

ggml : Fix 32-bit compiler warning (#1575)

Warning about %lu on 32-bit targets. Updated to %zu.

ggml : re-enable blas for src0 != F32 (#1583)

Server : Add support for .vtt format to Whisper server (#1578)

- The code comes from examples/main
- The output mimetype is set to text/vtt

Example usage:
```shell
curl 127.0.0.1:8080/inference \
-H "Content-Type: multipart/form-data" \
-F file="@samples/jfk.wav" \
-F temperature="0.2" \
-F response-format="vtt"
```

server : backport .srt output format (#1565)

This commit adds a support of .srt format to Whisper server. The code is
effectively backported from examples/main. The output mimetype is set to
application/x-subrip as per https://en.wikipedia.org/wiki/SubRip.

Example usage:

  curl 127.0.0.1:8080/inference \
    -H "Content-Type: multipart/form-data" \
    -F file="@<file-path>" \
    -F temperature="0.2" \
    -F response-format="srt"

cmake : install required ggml.h header (#1568)

server : set default CORS headers to allow all (#1567)

readme : update help (#1560)

CI : Add CUDA 11.8.0 support (#1554)

* try to fix cublas build in CI

* add multiple cuda-toolkit version

* Update build.yml

* Disable CUDA-toolkit 10.2.89

CI : Rectify the Clang-Related workflow issues (#1551)

* fix bugs in workflow

* fix missing clang in workflow

* Update build.yml

server : automatically convert audio on the server (#1539)

* server : automatically convert audio on the server

* server : remove rebundant comments

* server : automatic conversion refactor

* server : update server readme

* server : remove unnecessary comments and tabs

* server : put back remove calling

* server : apply suggestions from code review

Co-authored-by: Georgi Gerganov <redacted>
* server : check ffmpeg before the server lunch

* server : fix indentation

* Apply suggestions from code review

Co-authored-by: Georgi Gerganov <redacted>
* server : fix function typo calling

* server : fix function typo calling

* server : add warning in readme

---------

Co-authored-by: Georgi Gerganov <redacted>

whisper : remove trailing whitespaces

release : v1.5.1

metal : add backend function to check device family support (#1547)

cuda : sync some minor stuff from llama.cpp (#1548)

whisper : fix typo

server : add --print-realtime param (#1541)

* server : add --print-realtime param

* Fix duplicate realtime output

whisper : add whisper_lang_str_full (#1546)

* Update whisper.h

add whisper_lang_fullstr to retrieve the full language name

* Update whisper.cpp

add whisper_lang_fullstr to return the full language name

* fullstr -> str_full

---------

Co-authored-by: Georgi Gerganov <redacted>

fix(server): typo in temperature parameter (#1545)

Also fixed another typo in comments.

metal : fix build (#1544)

readme : add server example

go : fixed Makefile for MacOS ARM 64 (#1530)

* Fixed Makefile for MacOS ARM 64 based on https://github.com/ggerganov/whisper.cpp/issues/1344 + proper ggml-metal env var setting

* conditional to fix broken non-macos compilation

* spaces -> tab

* make : fix whitespaces

---------

Co-authored-by: Georgi Gerganov <redacted>

Change temp file name for server application (#1535)

Avoid issue of removing file if it exists in the current working
directory

bench : pass memcpy threads from cli

bench : multi-thread memcpy (#1534)

Close file after writing in server application (#1533)

Fix of mistake leaving file open while reading it again as wav

server : add video to readme

server : add a REST Whisper server example with OAI-like API (#1380)

* Add first draft of server

* Added json support and base funcs for server.cpp

* Add more user input via api-request

also some clean up

* Add reqest params and load post function

Also some general clean up

* Remove unused function

* Add readme

* Add exception handlers

* Update examples/server/server.cpp

* make : add server target

* Add magic curl syntax

Co-authored-by: Georgi Gerganov <redacted>
---------

Co-authored-by: Georgi Gerganov <redacted>

whisper : update example in whisper.h (#1529)

update the example in the header, previous examples deprecated.

sdl : fix audio callback (#1523)

whisper : reuse whisper_decode_with_state (#1521)

ci : redistribute CUDA DLLs (#1522)

see https://docs.nvidia.com/cuda/eula/index.html#attachment-a

whisper : fix with_state methods to use the correct state (#1519)

Co-authored-by: Sandro Hanea <redacted>

whisper : fix overriding the audio context

cuda : assert ggml_add sources to be contiguous

ios : sync submodule

sync : ggml (ggml-alloc + linker + gguf fixes) (#1501)

quantize : add support for K-quant types

bench : fix memcpy bench size

talk-llama : improve quote and backtick handling (#1364)

* ISSUE-1329: replace " with ' so it doesn't try to execute code in backticks.

* Typo

* Update to keep possessives in the output

Closes the ' then puts a ' in quotes then reopens the ' to escape the ' characters.

talk-llama : enable GPU by default

models : add info about distilled models

release : v1.5.0

bench-all : add distil models

js : latest whisper.js

bench-all : indentations

whisper : make large version explicit + fix data size units (#1493)

java : fix test (#1492)

whisper : add batched decoding (#1486)

* whisper : add whisper_batch

* whisper : move kv_self to whisper_state

* whisper : full batched decoding support

* whisper : fix memory leak in whisper_batch

* whisper : fix mem leak again + remove oboslete function

* whisper : clear kv cache when using whisper_decode API

* whisper : speed-up sampling

* whisper : fix decoders initializer

* bench : add batch size 5 bench

* whisper : add comment about the KV cache size

* whisper : add check for max number of decoders

* whisper : avoid starting sampling threads with bs=1

* whisper : enable beam-search by default

* cuda : sync llama.cpp fixes

java : use tiny.en for tests (#1484)

* java : use tiny.en for tests

* java : try to fix full params struct

whisper : add grammar-based sampling (#1229)

* whisper : add grammar-based sampling

* build : fix after master merge

* command : fix exception when recognizing the command

* whisper : fine-tuning grammar functionality

* command : grammar-related improvements

- option to read grammar from file
- add sample grammars for colors and chess moves
- fine-tune the performance further

* grammars : add assistant + update comments

* command : enable beam-search, add "no_timestamps", add "context", add p

* whisper : remove comment

---------

Co-authored-by: Georgi Gerganov <redacted>

talk-llama : add n_gpu_layers parameter (#1475)

examples : add whisper.android.java for compatibility with older Android versions using Java (#1382)

* save the recorded audio to a file

* Alignment -help

* Save the correct audio

* chage to a consistent coding style

* Correct typo

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* Correct variable misuse

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* Update examples/stream/stream.cpp

* add *.bin .cxx/ .gradle/ cmake-build-debug/ to gitignore

* add whisper.android.java

* Added support for older versions of Android of Java

* add examples for android java

* add README.md for android java

* add fullTranscribeWithTime

* 增加 toString()方法和测试

* change return type to void

* update to v1.4.1

* add WhisperService

* chage to whisper_full_get_segment_t1

* add method transcribeDataWithTime

* modified toString
```
return "[" + start + " --> " + end + "]:" + sentence;
```

* Optimize code logic

* update text view on handle

* set max lines

* change Chinese to English

* Update bindings/java/build.gradle

* Update .gitignore

* add android.java to github action

* chage android.java to   android_java in build.yml

* remove gradle

* chage jdk to temurin in android_java of CI

* chage jdk to temurin 11 in android_java of CI

* add x to gradlew

* set api-level for android_java of CI

* Update examples/whisper.android.java/app/src/main/jni/whisper/CMakeLists.txt

* add ndk version in build.gradle

* remove local.properties

* add testFullTranscribeWithTime

---------

Co-authored-by: litongmacos <redacted>
Co-authored-by: bobqianic <redacted>

readme : update comment about source code

ggml : fix some compile warnings

readme : update GPU / CUDA

whisper : add full CUDA and Metal offloading (#1472)

* whisper : migrate to ggml-backend

* whisper : fix logit reading

* whisper : fix tensor allocation during load

* whisper : fix beam-search with CUDA

* whisper : free backends + fix compile warning

* whisper : print when CUDA is enabled

* whisper : fix CoreML

* make : clean-up

* talk : fix compile warning

* whisper : support ggml_conv with CUDA and Metal (#1473)

* ggml : add CUDA support for ggml_conv

* whisper : remove ggml_repeat for conv bias + single backend

* cuda : fix im2col kernel

* metal : add im2col support + mul mat-vec f16 x f16

* bench-all : add q4 models

* whisper : clean-up

* quantize-all : fix

* ggml : im2col opts

* whisper : avoid whisper_model_data wrapper

* whisper : add note that ggml_mul_mat_pad does not work with CUDA

* whisper : factor out graph compute in common function

* whisper : fixes

* whisper : fix UB with measure buffers

* whisper : try to fix the parallel whisper_state functionality (#1479)

* whisper : try to fix the parallel whisper_state functionality

* whisper : fix multi-state Metal

* whisper : free backend instances in whisper_state

whisper : return with error from whisper_encode_internal and whisper_decode_internal when abort callback is true (#1456)

Co-authored-by: Ben Nortier <redacted>

talk-llama : add language auto detect (#1467)

* Add '-l auto' to talk-llama example

* Update examples/talk-llama/talk-llama.cpp

---------

Co-authored-by: Georgi Gerganov <redacted>

openvino : update convert-whisper-to-openvino.py to support v3 (#1459)

coreml : use the correct `n_mel` value (#1458)

whisper : reset mel time when resetting timings (#1452)

Co-authored-by: Ben Nortier <redacted>

ios : add support for Swift Package Manager (#1370)

* Add support for Swift

* Make it build in Xcode

* Use the SPM package in the SwiftUI example app

release : v1.4.3

ggml : fix MIN / MAX macro re-definition

whisper : add support for large v3 (#1444)

* whisper : add support for large v3

* bench : fix build + fix go bindings

* bench : fix n_mels

* models : update readme

android : decouple example into a library and app module (#1445)

whisper : reset ctx->t_start_us when calling whisper_reset_timings() (#1434)

Co-authored-by: Ben Nortier <redacted>

cmake : fix talk-llama build

metal : fix asserts for setThreadgroupMemoryLength (close #1435)

ci : fix variable names in GitHub actions config (#1440)

* Remove _SUPPORT from variables

* Change blasdir to OPENBLAS_PATH

* Update OpenBLAS URLs

talk-llama : fix n_gpu_layers usage again (#1442)

whisper : add missing about callback initializers

examples : fix n_gpu_layers usage in talk-llama (#1441)

whisper : add context param to disable gpu (#1293)

* whisper : check state->ctx_metal not null

* whisper : add whisper_context_params { use_gpu }

* whisper : new API with params & deprecate old API

* examples : use no-gpu param && whisper_init_from_file_with_params

* whisper.objc : enable metal & disable on simulator

* whisper.swiftui, metal : enable metal & support load default.metallib

* whisper.android : use new API

* bindings : use new API

* addon.node : fix build & test

* bindings : updata java binding

* bindings : add missing whisper_context_default_params_by_ref WHISPER_API for java

* metal : use SWIFTPM_MODULE_BUNDLE for GGML_SWIFT and reuse library load

* metal : move bundle var into block

* metal : use SWIFT_PACKAGE instead of GGML_SWIFT

* style : minor updates

---------

Co-authored-by: Georgi Gerganov <redacted>