]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
docs: Update documentation with Granite 4.0/4.1 (#23404)
authorJesus Talavera <redacted>
Fri, 22 May 2026 12:35:46 +0000 (14:35 +0200)
committerGitHub <redacted>
Fri, 22 May 2026 12:35:46 +0000 (20:35 +0800)
docs/autoparser.md
docs/function-calling.md

index adc4d43ed6774ef922cd335a8d646882722c179d..da2f1a3a09252ac9b3235507b5649d8d5a823048 100644 (file)
@@ -489,6 +489,7 @@ The following templates have active tests in `tests/test-chat.cpp`:
 | Qwen-QwQ-32B | Reasoning | Forced-open thinking |
 | NousResearch Hermes 2 Pro | JSON_NATIVE | `<tool_call>` wrapper |
 | IBM Granite 3.3 | JSON_NATIVE | `<think></think>` + `<response></response>` |
+| IBM Granite 4.0 | JSON_NATIVE | `<tool_call>` wrapper (same template used by 4.1) |
 | ByteDance Seed-OSS | TAG_WITH_TAGGED | Custom `<seed:think>` and `<seed:tool_call>` tags |
 | Qwen3-Coder | TAG_WITH_TAGGED | XML-style tool format |
 | DeepSeek V3.1 | JSON_NATIVE | Forced thinking mode |
index 9ede914c04d606d36e41b632860ea743e207cbb5..850b59ce7aa7a2a0bf6227d625e4b55aa81a179b 100644 (file)
@@ -291,6 +291,7 @@ Here are some models known to work (w/ chat template override when needed):
 llama-server --jinja -fa -hf bartowski/Qwen2.5-7B-Instruct-GGUF:Q4_K_M
 llama-server --jinja -fa -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q6_K_L
 llama-server --jinja -fa -hf bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M
+llama-server --jinja -fa -hf ibm-granite/granite-4.1-3b-GGUF:Q4_K_M
 
 # Native support for DeepSeek R1 works best w/ our template override (official template is buggy, although we do work around it)