]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
server : update readme doc from `slot_id` to `id_slot` (#6213)
authorJan Boon <redacted>
Thu, 21 Mar 2024 22:41:24 +0000 (06:41 +0800)
committerGitHub <redacted>
Thu, 21 Mar 2024 22:41:24 +0000 (23:41 +0100)
examples/server/README.md

index 755e1d5384f55eb1e0e87726a1b10dbef117b83a..355601ff4dec27d61215e5bb3649fc15d01c8403 100644 (file)
@@ -260,7 +260,7 @@ node index.js
 
     `image_data`: An array of objects to hold base64-encoded image `data` and its `id`s to be reference in `prompt`. You can determine the place of the image in the prompt as in the following: `USER:[img-12]Describe the image in detail.\nASSISTANT:`. In this case, `[img-12]` will be replaced by the embeddings of the image with id `12` in the following `image_data` array: `{..., "image_data": [{"data": "<BASE64_STRING>", "id": 12}]}`. Use `image_data` only with multimodal models, e.g., LLaVA.
 
-    `slot_id`: Assign the completion task to an specific slot. If is -1 the task will be assigned to a Idle slot (default: -1)
+    `id_slot`: Assign the completion task to an specific slot. If is -1 the task will be assigned to a Idle slot (default: -1)
 
     `cache_prompt`: Re-use previously cached prompt from the last request if possible. This may prevent re-caching the prompt from scratch. (default: false)