Skip to content

Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.

Record shared PDF text cleanup validation [skip ci]

myhloli2f4e2f9632f3
diff --git a/docs/pdf-text-normalization-validation.md b/docs/pdf-text-normalization-validation.md
new file mode 100644
index 00000000..9577ac91
--- /dev/null
+++ b/docs/pdf-text-normalization-validation.md
@@ -0,0 +1,27 @@
+# PDF 输出全角英数清洗下沉验证
+
+DocGale 内容层现在提供 `normalize_pdf_model_text(model_list) -> None`,其公开
+PDF 模型出口自动调用。MinerU 在回填、Span 构造及宿主元数据清理后复用同一
+实现;原有标题分类、无效块过滤及类型转换继续留在 MinerU。
+
+范围为 PDF 自然语言和表格单元格的全角英文字母、数字;保留标点、公式、代码、
+链接目标及结构。共享清洗单测迁入 DocGale,MinerU 保留调用时机及所有 PDF
+路由的整合测试,包括 Flash 的 auto/txt/ocr,以及 medium/high/xhigh 的 txt/ocr。
+
+本次完整回归:3,954 passed、4 skipped、4 项既有基线失败 deselected。
+测试总数变化来自迁移 25 项共享清洗用例,同时新增 7 项宿主整合用例。
+原始字符、字体及几何没有参与全半角转换,现有 Hybrid 回填断言继续通过。
+非 PDF 路径不触发新清洗;ModelJson/MiddleJson 协议和 CLI/API 参数保持不变。
+
+DocGale 的 Python 3.10–3.14 三平台 CI、Pydantic 下限和 PDFium 5.13.0 验证:
+https://github.com/myhloli/docgale/actions/runs/34034656162
+
+旧 Doclib 缓存继续有效。升级后重启正在运行的服务,再通过 `--force` 重新解析
+以获得新输出;读取旧结果不会自动清洗或改写。完整规则见 DocGale 的
+`docs/PDF_TEXT_NORMALIZATION.md`,字形及文字对照见其 `docs/validation.md`。
+
+四项既有排除仍为:
+- test_basic_extra_includes_preflight_runtime_dependencies
+- test_standard_is_the_highest_model_runtime_extra
+- test_doclib_compaction_rejects_unknown_legacy_schema
+- test_pp_formulanet_fix_latex_uses_shared_mathring_repair