]> git.djapps.eu Git - pkg/ggml/sources/ggml/commitdiff
gguf : add tokenizer.chat_template documentation (#616)
authorslaren <redacted>
Sun, 19 Nov 2023 08:37:08 +0000 (09:37 +0100)
committerGitHub <redacted>
Sun, 19 Nov 2023 08:37:08 +0000 (10:37 +0200)
docs/gguf.md

index 75610a45f2d148a3f84ba59614ef2ebb6917ef73..794a52923036493fb25e571e6e2d64e5ca8f3bba 100644 (file)
@@ -512,6 +512,7 @@ Hugging Face maintains their own `tokenizers` library that supports a wide varie
 Other tokenizers may be used, but are not necessarily standardized. They may be executor-specific. They will be documented here as they are discovered/further developed.
 
 - `tokenizer.rwkv.world: string`: a RWKV World tokenizer, like [this](https://github.com/BlinkDL/ChatRWKV/blob/main/tokenizer/rwkv_vocab_v20230424.txt). This text file should be included verbatim.
+- `tokenizer.chat_template : string`: a Jinja template that specifies the input format expected by the model. For more details see: <https://huggingface.co/docs/transformers/main/en/chat_templating>
 
 ### Computation graph