]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commitdiff
models : fix typo in convert-h5-to-ggml.py
authorIkko Ashimine <redacted>
Fri, 30 Dec 2022 17:51:08 +0000 (02:51 +0900)
committerGeorgi Gerganov <redacted>
Sat, 31 Dec 2022 07:49:01 +0000 (09:49 +0200)
signficant -> significant

models/convert-h5-to-ggml.py

index b882c4d4ecc4a6edce472bbc8d12890bd7a26ce4..b06ad23d328be4922ac1d95b2019c13baaf705c5 100644 (file)
@@ -56,7 +56,7 @@ def bytes_to_unicode():
     The reversible bpe codes work on unicode strings.
     This means you need a large # of unicode characters in your vocab if you want to avoid UNKs.
     When you're at something like a 10B token dataset you end up needing around 5K for decent coverage.
-    This is a signficant percentage of your normal, say, 32K bpe vocab.
+    This is a significant percentage of your normal, say, 32K bpe vocab.
     To avoid that, we want lookup tables between utf-8 bytes and unicode strings.
     And avoids mapping to whitespace/control characters the bpe code barfs on.
     """