]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
tts : add OuteTTS support (#10784)
authorGeorgi Gerganov <redacted>
Wed, 18 Dec 2024 17:27:21 +0000 (19:27 +0200)
committerGitHub <redacted>
Wed, 18 Dec 2024 17:27:21 +0000 (19:27 +0200)
commit0bf2d10c5514ff61b99897a4a5054f846e384e1e
tree9b803d12d167a77b214ef0e85455cc968773492d
parent7bbb5acf125d1d2840cac7d31b9aaa72210dd5ec
tts : add OuteTTS support (#10784)

* server : add "tokens" output

ggml-ci

* server : output embeddings for all tokens when pooling = none

ggml-ci

* server : be explicit about the pooling type in the tests

ggml-ci

* server : do not normalize embeddings when there is no pooling

ggml-ci

* llama : add OuteTTS support (wip)

* wip

* extract features

* first conv

* group norm

* resnet conv

* resnet

* attn

* pos net

* layer norm

* convnext

* head

* hann window

* fix n_embd + remove llama.cpp hacks

* compute hann window

* fft

* spectrum processing

* clean-up

* tts : receive input text and generate codes

* clip : fix new conv name

* tts : minor fix

* tts : add header + minor fixes

ggml-ci

* tts : add matchematical constant

ggml-ci

* tts : fix sampling + cut initial noise

* tts : fixes

* tts : update default samplers

ggml-ci

* tts : text pre-processing

* tts : outetts-voc -> wavtokenizer-dec

* tts : remove hardcoded constants

ggml-ci

* tts : fix tensor shapes

* llama : refactor wavtokenizer tensors

ggml-ci

* cont

ggml-ci

* cont [no ci]

* llama : update WavTokenizer to non-causal attn

* llama : handle no-vocab detokenization

* tts : add Python example for OuteTTS (wip)

* tts : extend python example to generate spectrogram

ggml-ci

* server : fix rebase artifacts

* tts : enable "return_tokens" in Python example

ggml-ci

* tts : minor fixes

* common : support HF download for vocoder
19 files changed:
common/arg.cpp
common/common.cpp
common/common.h
convert_hf_to_gguf.py
examples/CMakeLists.txt
examples/llava/clip.cpp
examples/tts/CMakeLists.txt [new file with mode: 0644]
examples/tts/convert_pt_to_hf.py [new file with mode: 0644]
examples/tts/tts-outetts.py [new file with mode: 0644]
examples/tts/tts.cpp [new file with mode: 0644]
ggml/include/ggml.h
ggml/src/ggml.c
gguf-py/gguf/constants.py
gguf-py/gguf/gguf_writer.py
gguf-py/gguf/tensor_mapping.py
gguf-py/tests/test_quants.py
include/llama.h
src/llama-vocab.cpp
src/llama.cpp