]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
whisper : reduce memory usage during inference (#431)
authorGeorgi Gerganov <redacted>
Sat, 4 Feb 2023 07:45:52 +0000 (09:45 +0200)
committerGitHub <redacted>
Sat, 4 Feb 2023 07:45:52 +0000 (09:45 +0200)
commitf3ee4a96733188b7ebf7d0618be37b6da35810c7
tree891c38ac057f9c102a10cfc916c6b96635c994be
parentc306a7fd89357866898c3bf709f362180d01b1c9
whisper : reduce memory usage during inference (#431)

* ggml : add "scratch" buffer support

* ggml : support for scratch ring-buffer

* ggml : bug fix in ggml_repeat()

* ggml : error on scratch buffer overflow

* whisper : use scratch buffers during inference (base model only)

* whisper : update memory usage for all models

* whisper : fix encoder memory usage

* whisper : use whisper_context functions instead of macros

* whisper : fix FF + remove it from README

* ggml : reuse ggml_new_i32

* ggml : refactor the scratch buffer storage

* whisper : reorder scratch buffers in the decoder

* main : add option to disable temp fallback

* Update README.md
README.md
bindings/javascript/whisper.js
examples/main/README.md
examples/main/main.cpp
ggml.c
ggml.h
whisper.cpp