Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.
Python ai4sciencedocument-analysisdocxextract-datalayout-analysisocrparserpdfpdf-converterpdf-extractor-llmpdf-extractor-pretrainpdf-extractor-ragpdf-parserpptxpythonxlsx
Record shared PDF text cleanup validation [skip ci]
myhloli2f4e2f9632f3
diff --git a/docs/pdf-text-normalization-validation.md b/docs/pdf-text-normalization-validation.mdnew file mode 100644index 00000000..9577ac91--- /dev/null+++ b/docs/pdf-text-normalization-validation.md@@ -0,0 +1,27 @@+# PDF 输出全角英数清洗下沉验证++DocGale 内容层现在提供 `normalize_pdf_model_text(model_list) -> None`,其公开+PDF 模型出口自动调用。MinerU 在回填、Span 构造及宿主元数据清理后复用同一+实现;原有标题分类、无效块过滤及类型转换继续留在 MinerU。++范围为 PDF 自然语言和表格单元格的全角英文字母、数字;保留标点、公式、代码、+链接目标及结构。共享清洗单测迁入 DocGale,MinerU 保留调用时机及所有 PDF+路由的整合测试,包括 Flash 的 auto/txt/ocr,以及 medium/high/xhigh 的 txt/ocr。++本次完整回归:3,954 passed、4 skipped、4 项既有基线失败 deselected。+测试总数变化来自迁移 25 项共享清洗用例,同时新增 7 项宿主整合用例。+原始字符、字体及几何没有参与全半角转换,现有 Hybrid 回填断言继续通过。+非 PDF 路径不触发新清洗;ModelJson/MiddleJson 协议和 CLI/API 参数保持不变。++DocGale 的 Python 3.10–3.14 三平台 CI、Pydantic 下限和 PDFium 5.13.0 验证:+https://github.com/myhloli/docgale/actions/runs/34034656162++旧 Doclib 缓存继续有效。升级后重启正在运行的服务,再通过 `--force` 重新解析+以获得新输出;读取旧结果不会自动清洗或改写。完整规则见 DocGale 的+`docs/PDF_TEXT_NORMALIZATION.md`,字形及文字对照见其 `docs/validation.md`。++四项既有排除仍为:+- test_basic_extra_includes_preflight_runtime_dependencies+- test_standard_is_the_highest_model_runtime_extra+- test_doclib_compaction_rejects_unknown_legacy_schema+- test_pp_formulanet_fix_latex_uses_shared_mathring_repair