Skip to content

Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.

fix(vlm-server): treat llama router sources as explicit model selectors

myhlolid0901fe99370
diff --git a/mineru/kit/vlm_server/llama_cpp_server.py b/mineru/kit/vlm_server/llama_cpp_server.py
index b4790ff0..79824bdb 100644
--- a/mineru/kit/vlm_server/llama_cpp_server.py
+++ b/mineru/kit/vlm_server/llama_cpp_server.py
@@ -53,6 +53,9 @@ PROJECTOR_SELECTOR_FLAGS = (
"--no-mmproj-auto",
)
PARALLEL_FLAGS = ("-np", "--parallel")
+# router 模式的模型来源(llama-server 未指定模型时按目录/预设自组路由):
+# 视为用户已提供模型,注入默认 -m 会关掉 router 模式并强制下载官方模型。
+ROUTER_SOURCE_FLAGS = ("--models-dir", "--models-preset")
KV_UNIFIED_FLAGS = ("-kvu", "--kv-unified", "-no-kvu", "--no-kv-unified")
SPECIAL_FLAGS = ("-sp", "--special")
# 值为凭据的旗标,启动横幅打印前脱敏;--api-key-file 等是路径不是凭据,不脱敏。
@@ -171,13 +174,14 @@ def main() -> None:
args.append("--special")
# 模型与 mmproj 必须成对来自同一模型;用户通过任一原生选择器(-m/-hf/
- # --model-url,或 -mm/--mmproj 等投影选择器)自定义时不再补默认,
- # 避免拼出「自定义主模型 + 官方 mmproj」的不匹配组合。
+ # --model-url,-mm/--mmproj 等投影选择器)或 router 来源(--models-dir/
+ # --models-preset)自定义时不再补默认,避免拼出「自定义主模型 + 官方
+ # mmproj」的不匹配组合,或用 -m 关掉 router 模式。
model_path: Path | None = None
if _has_arg(args, "-m", "--model"):
value = _flag_value(args, "-m", "--model")
model_path = Path(value) if value else None
- elif not _has_arg(args, *MODEL_SELECTOR_FLAGS, *PROJECTOR_SELECTOR_FLAGS):
+ elif not _has_arg(args, *MODEL_SELECTOR_FLAGS, *PROJECTOR_SELECTOR_FLAGS, *ROUTER_SOURCE_FLAGS):
repo = vlm_model_repo("llama-cpp")
model_dir = repo.ensure()
model_path = model_dir / repo.paths["main"]
diff --git a/tests/unittest/test_llama_cpp_server.py b/tests/unittest/test_llama_cpp_server.py
index d208ae49..8e817a2b 100644
--- a/tests/unittest/test_llama_cpp_server.py
+++ b/tests/unittest/test_llama_cpp_server.py
@@ -194,6 +194,8 @@ def test_main_skips_default_grammar_when_alternate_selector_supplied(
["--mmproj", "p.gguf"],
["-mmu", "https://example.com/p.gguf"],
["--mmproj-url", "https://example.com/p.gguf"],
+ ["--models-dir", "models"],
+ ["--models-preset", "presets.ini"],
],
ids=[
"hf",
@@ -207,12 +209,14 @@ def test_main_skips_default_grammar_when_alternate_selector_supplied(
"mmproj",
"mmproj-url-short",
"mmproj-url",
+ "router-models-dir",
+ "router-models-preset",
],
)
def test_main_skips_default_model_pair_when_native_selector_supplied(
monkeypatch: pytest.MonkeyPatch, tmp_path: Path, capsys: pytest.CaptureFixture[str], model_args: list[str]
) -> None:
- """原生模型/投影选择器视为用户已提供模型,不再注入官方 -m + --mmproj 组合。"""
+ """原生模型/投影选择器与 router 来源视为用户已提供模型,不再注入官方 -m + --mmproj 组合。"""
argv, _, model_dir = _run_main(monkeypatch, tmp_path, capsys, model_args)
assert str(model_dir / "main.gguf") not in argv