ggml.o: ggml.c ggml.h ggml-cuda.h
$(CC) $(CFLAGS) -c $< -o $@
-llama.o: llama.cpp ggml.h ggml-cuda.h llama.h llama_util.h
+llama.o: llama.cpp ggml.h ggml-cuda.h llama.h llama-util.h
$(CXX) $(CXXFLAGS) -c $< -o $@
common.o: examples/common.cpp examples/common.h
// first run
printf("\n%s", params.prompt.c_str());
+
for (auto i = 0; i < params.n_predict; i++) {
auto logits = llama_get_logits(ctx);
auto n_vocab = llama_n_vocab(ctx);
}
n_past += 1;
}
+
printf("\n\n");
// free old model
fprintf(stderr, "\n%s : failed to validate state size\n", __func__);
return 1;
}
- fread(state_mem, 1, state_size, fp_read);
+
+ const size_t ret = fread(state_mem, 1, state_size, fp_read);
+ if (ret != state_size) {
+ fprintf(stderr, "\n%s : failed to read state\n", __func__);
+ return 1;
+ }
+
llama_set_state_data(ctx2, state_mem); // could also read directly from memory mapped file
fclose(fp_read);
}