]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
server : add more information about error (#10455)
authorGeorgi Gerganov <redacted>
Mon, 25 Nov 2024 20:28:27 +0000 (22:28 +0200)
committerGeorgi Gerganov <redacted>
Mon, 25 Nov 2024 20:28:59 +0000 (22:28 +0200)
common/speculative.cpp

index fe315a2703e9c7d3091c0dafd72997b0b5247d34..e559675c436ef7071a48c30f2564185137cdd435 100644 (file)
@@ -90,9 +90,10 @@ bool common_speculative_are_compatible(
     if (llama_add_bos_token(model_tgt) != llama_add_bos_token(model_dft) ||
         llama_add_eos_token(model_tgt) != llama_add_eos_token(model_dft) ||
         llama_token_bos(model_tgt) != llama_token_bos(model_dft) ||
-        llama_token_eos(model_tgt) != llama_token_eos(model_dft)
-    ) {
+        llama_token_eos(model_tgt) != llama_token_eos(model_dft)) {
         LOG_ERR("%s: draft model special tokens must match target model to use speculation\n", __func__);
+        LOG_ERR("%s: tgt: bos = %d (%d), eos = %d (%d)\n", __func__, llama_token_bos(model_tgt), llama_add_bos_token(model_tgt), llama_token_eos(model_tgt), llama_add_eos_token(model_tgt));
+        LOG_ERR("%s: dft: bos = %d (%d), eos = %d (%d)\n", __func__, llama_token_bos(model_dft), llama_add_bos_token(model_dft), llama_token_eos(model_dft), llama_add_eos_token(model_dft));
         return false;
     }