Skip to content

Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.

7.5 KB
Raw Blame

ONNX 六图选型:三机校准与验收

历史归档:保留原设计或验收时的记录,不作为当前版本的安装、接口或实现指引。 当前入口见 开发文档;当时的版本、测试结论和未完成事项不追溯改写。

日期:2026-10-18。当前正式阈值:0.8,按用户要求简化,GPU 推理耗时需至少降低 20%。 以下三机数据及中点计算保留为历史校准记录,当时使用的验收阈值为 0.69639683662382。

每台设备五个独立校准进程、三个独立验收进程,共 24 个新进程。 每个进程的 CPU/GPU 各运行一次预热和两次计时,输入为相同的六张中英数字图片。 使用 PP-OCRv6 small rec、DML 1.24.4、CPU 4/1 线程和生产预处理。 CPU/GPU 解码结果全部一致,无失败或超时。

平台/集显 5 次校准 GPU/CPU 比值范围 3 次独立验收比值范围 验收选择
Ultra 5 225H / Arc 130T 0.499185–0.550824 0.468736–0.536320 GPU,3/3
i7-12700 / UHD 770 0.841969–1.671434 1.436512–1.701212 CPU,3/3
Ryzen AI MAX+ PRO 395 / 8060S 0.329776–0.401647 0.366498–0.393614 GPU,3/3

比值为 GPU 两次正式推理累计时间 / CPU 两次正式推理累计时间;越小表示 GPU 越快。 会话加载、预热、解释器启动、文件读写和结果检查不进入这个比值。 校准交替执行顺序,验收按生产流程固定 CPU 先、GPU 后。

历史校准阈值计算

  • L = Ultra 5 与 MAX395 全部有效比值的最大值 = 0.5508244759786391。
  • U = i7 最小有效比值与 1.0 的较小值 = 0.841969197269001。
  • T = (L + U) / 2 = 0.69639683662382。

i7 校准中有一次比值为 0.841969,其余为 1.54–1.67;保留全部记录,没有剔除这一测量。 三个后续独立验收均选择 CPU。阈值不依赖 CPU 名称或 GPU 型号匹配。 正常设备发现另已确认 i7 主机的首选为 RTX 3060 Ti、普通 DXGI 索引 1; 这台主机在应用正常 auto 模式下仍遵从独显优先,UHD 770 只由校准工具显式选择。

0.8 阈值:UHD 770 十次补验

用户将正式阈值简化为 0.8 后,在同一 i7-12700 / UHD 770 上补跑 10 个独立新进程。 每次均按生产顺序 CPU 先、GPU 后,使用相同六图、权重、预处理、DML 1.24.4、4/1 线程及 Intel rec 预设。 样本、输入和模型校验值与原三机报告完全一致。

10/10 均选择 CPU,误选 GPU、超时和错误均为 0,CPU/GPU 解码结果全部一致。 GPU/CPU 耗时比最小 1.541682、最大 1.859539、中位数 1.605701,均高于 0.8。

次数 CPU 两次合计(ms) GPU 两次合计(ms) GPU/CPU 选择
1 316.777 498.098 1.572392 CPU
2 317.742 489.857 1.541682 CPU
3 317.435 493.345 1.554159 CPU
4 290.602 540.386 1.859539 CPU
5 311.247 493.205 1.584608 CPU
6 295.296 491.732 1.665219 CPU
7 293.490 490.314 1.670629 CPU
8 309.174 491.362 1.589269 CPU
9 293.326 490.909 1.673592 CPU
10 304.586 494.079 1.622133 CPU

原三机的 24 次历史记录按 0.8 重新判断也全部保持原选择:Ultra 5 / MAX395 为 GPU,i7/UHD 为 CPU。 本次阈值更新相关 41 项测试通过;之前 593 项实现回归和 19 页一致性对照保留为历史验证记录。

本次完整逐次计时。 原始补验报告 SHA256:2f10d1a93488413a44fa2c4012ebca6ccfd513ef593ad6ee50cfd7decad98f63。

延迟与复现

Ultra 5 的五次校准 worker 墙钟为 8.17–8.39 秒,MAX395 为 1.79–1.91 秒。 这包含加载和第一次运行,因此不将“约 1–2 秒小样本推理目标”描述为所有机器的首次总延迟。 完整的初始化、首次执行、正式计时及 worker 墙钟见机器可读报告。

三台使用相同的模型、manifest 和预处理输入校验值:

  • 模型:5435fd747c9e0efe15a96d0b378d5bd157e9492ed8fd80edf08f30d02fa24634
  • Manifest:5d6728644b7f9ba220b3072eb00b6d436e774f32f3d30cddd06f0017042f4375
  • 输入:474fa06cbc4c20303081e85084b45f3a4f24190d1141e4bd3bf3f3feb432c078
  • 输入 shape:[6, 3, 48, 1012]

正式开关为 Intel rec 关闭 metacommands、AMD rec 开启。实际 provider 均经过检查。 源码包和原始逐机报告保存在本轮 output/onnx-selection-20261018/, 可提交的完整逐次计时见 机器可读报告。 校准与重新执行方法见 ONNX 设备选择。

正式入口与结果一致性

初版实现相关回归共 593 项通过,覆盖设备策略、配置原子写入、会话并发、MFR 尾批、模型预加载、 CLI、PDF 模型流程及资源生命周期;另有两项第三方弃用提示。wheel 构建成功,确认包含六张 PNG、 manifest、正式阈值及互斥的平台运行时依赖。

本机使用正式解析入口,分别在新进程中配置 onnx_device=cpu 和 gpu, 对 demo1+demo2 合并的 19 页 PDF 执行 basic + 强制 OCR:

  • 两次均完成全部 19 页,Middle JSON 的 pages 数组完全一致,包含页面顺序、块结构、边界框、正文与公式。
  • Markdown 文件逐字节一致,SHA256 为 6fa409c5986b5207a4cadff8d106a063c977180758babe615fc5ce58ebd86b49。
  • GPU 路线实际使用 DML 的组件为 layout、rec、MFR;检测、表格和 MFR 不足 8 张的尾批使用 CPU。
  • 完整结果、会话 provider 和比较记录保存在本轮输出目录的 document-*-verified/ 与 document-comparison.json。

额外使用隔离配置文件验证真实进程生命周期:首次 auto 测速后写入 gpu,下一新进程 返回 configured_gpu,未重新测速,配置中的其他键保持不变。 本机首次自动选择约 20.57 秒,包括 UMA 设备分类与约 8.11 秒的测速 worker; 这不是单独的 rec 推理耗时,也不包含随后生产模型的加载。

发现逐张创建 D3D12 设备分类会使后续选择仍耗时约 12 秒后,已优化保存为 gpu 的路径: 利用 Windows 高性能排序,并以空 ppDevice 检查 D3D12 能力,避免重复创建分类设备。 本机该枚举约 0.11 秒,包含 ORT 导入和读取配置的完整选择约 0.33 秒,所选 LUID/编号不变。 首次 auto 仍执行 UMA 分类;旧 Windows 缺少高性能排序接口时保留分类以确保独显优先。 接口行为参见 D3D12CreateDevice。

安装依赖声明已经切换到 Windows x64 的 onnxruntime-directml>=1.23,<2。 2026-10-18 已使用 mineru-magika==1.0.3 和 DocVortex 固定兼容提交完成 Windows x64 完整依赖验收,uv pip check 通过,两个共享模块各自只有一个发行包所有者。 DocVortex 的同版本 PyPI 元数据尚未更新;本次源码构建来源、回归与平台求解结果见 依赖验收报告。

Linux WebGPU 后续验证

2026-10-21 已增加独立的 WebGPU 自动校准路径;集显、独显均执行六图 rec 测速。 DML 与 WebGPU 的阈值分开维护,当前均为 0.8,不能混合两种后端的报告推导新阈值。 Linux 本机的五次新进程校准、19 页完整解析、MFR CPU 尾批和 24 张表格 UNet 结果见 Linux WebGPU 生产验证。上文保留原 Windows 验证记录。