]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
server : do not release slot on image input (#3798)
authorGeorgi Gerganov <redacted>
Thu, 26 Oct 2023 19:53:37 +0000 (22:53 +0300)
committerGeorgi Gerganov <redacted>
Thu, 26 Oct 2023 19:54:17 +0000 (22:54 +0300)
examples/server/server.cpp

index b4c4d0a20ad0a7ba377739d6c32bcffbf34a21a7..5b7e4139de551e2d42b9d24241a4e3c4ec9fd42b 100644 (file)
@@ -1502,7 +1502,7 @@ struct llama_server_context
         {
             for (auto & slot : slots)
             {
-                const bool has_prompt = slot.prompt.is_array() || (slot.prompt.is_string() && !slot.prompt.get<std::string>().empty());
+                const bool has_prompt = slot.prompt.is_array() || (slot.prompt.is_string() && !slot.prompt.get<std::string>().empty()) || !slot.images.empty();
 
                 // empty prompt passed -> release the slot and send empty response
                 if (slot.state == IDLE && slot.command == LOAD_PROMPT && !has_prompt)