]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
Remove unused code since n_vocab is model.hparams.n_vocab (#262)
authorAlex Nguyen <redacted>
Sat, 18 Mar 2023 13:51:49 +0000 (20:51 +0700)
committerGitHub <redacted>
Sat, 18 Mar 2023 13:51:49 +0000 (13:51 +0000)
main.cpp

index eb78fe5ab8152456c8f1e3745d0050f111c4e60a..c88405b82956a9c65a6df32876756fcda2eae95f 100644 (file)
--- a/main.cpp
+++ b/main.cpp
@@ -143,16 +143,8 @@ bool llama_model_load(const std::string & fname, llama_model & model, gpt_vocab
 
     // load vocab
     {
-        const int32_t n_vocab = model.hparams.n_vocab;
-
-        if (n_vocab != model.hparams.n_vocab) {
-            fprintf(stderr, "%s: invalid model file '%s' (bad vocab size %d != %d)\n",
-                    __func__, fname.c_str(), n_vocab, model.hparams.n_vocab);
-            return false;
-        }
-
         std::string word;
-        for (int i = 0; i < n_vocab; i++) {
+        for (int i = 0; i < model.hparams.n_vocab; i++) {
             uint32_t len;
             fin.read((char *) &len, sizeof(len));