]> git.djapps.eu Git - pkg/ggml/sources/ggml/commitdiff
common : fix trailing whitespace
authorGeorgi Gerganov <redacted>
Sun, 25 Jun 2023 11:20:41 +0000 (14:20 +0300)
committerGeorgi Gerganov <redacted>
Sun, 25 Jun 2023 11:20:41 +0000 (14:20 +0300)
examples/common.h

index 0431d5a876d7aaffd306359f702213a7f813e5ec..7e9b867d3d6f1f8af3a00140a153aa321c68d72f 100644 (file)
@@ -82,7 +82,7 @@ std::vector<gpt_vocab::id> gpt_tokenize(const gpt_vocab & vocab, const std::stri
 
 // test outputs of gpt_tokenize
 //
-//   - compare with tokens generated by the huggingface tokenizer 
+//   - compare with tokens generated by the huggingface tokenizer
 //   - test cases are chosen based on the model's main language (under 'prompt' directory)
 //   - if all sentences are tokenized identically, print 'All tests passed.'
 //   - otherwise, print sentence, huggingface tokens, ggml tokens