Skip to content

Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.

6.3 KB
Raw Blame

Linux WebGPU 生产接入验证(2026-10-21)

历史归档:保留原设计或验收时的记录,不作为当前版本的安装、接口或实现指引。 当前入口见 开发文档;当时的版本、测试结论和未完成事项不追溯改写。

Linux x86_64,AMD Radeon 8060S / RADV STRIX_HALO,Mesa 26.0.8;Python 3.14.4、ORT 1.31.0、WebGPU EP 0.4.0。 CPU intra-op=4、inter-op=1;WebGPU 使用 NHWC、graph capture 关闭、Vulkan、high-performance。DocVortex 和 Rust 扩展未修改。

自动选择与回归

5 个新进程的六图 rec 比值依次为 0.514125, 0.507938, 0.511882, 0.522714, 0.516614,全部输出一致且低于 WebGPU 阈值 0.8。 独立配置验证:首次 auto 校准后原子保存 gpu;第二个新进程直接返回 configured_gpu,保留其他配置键。 两个真实 WebGPU 会话通过 4 个调用线程交错运行 12 次,所有解码结果一致,无并发异常。 352 项 ONNX/依赖相关回归与 29 项模型预加载、运行时、CLI 测试通过;Ruff、git diff --check、uv pip check 通过。 Windows DML 本轮通过单元回归验证,未在 Windows 硬件重新测量。

完整解析

demo1+demo2 合并 PDF,共 19 页,basic+强制 OCR。CPU/GPU 均在新进程中运行两次,采用 CPU→GPU→GPU→CPU 的顺序。 下表未启用 Python observer 或 ORT profiler,计时为 parse 调用,不含结果写盘和导入模块;没有额外模型预热。

模式 第一次(秒) 第二次(秒) 平均(秒)
CPU 56.927 56.534 56.731
WebGPU+MFR CPU 尾批 36.003 36.325 36.164

平均加速 1.569×,耗时减少 36.25%。 四次正式运行和两次 observer 运行的 Markdown、三个 JSON 与 46 个素材,共 50 个文件全部逐字节一致。

各阶段累计推理

以下是独立 observer 运行中同步 ORT session.run 的累计墙钟,包含首次调用、数据传输和 EP 内部 CPU 算子, 不含模型初始化、预处理、后处理。Python profiler 通过标准 call/return 事件观测,没有替换生产函数; observer 运行的整本解析耗时不参与上面的完整解析对比。两个相同类别会话的时间已合计。

模型 CPU 推理(秒) WebGPU 路线推理(秒) 加速 CPU 初始化(秒) WebGPU 路线初始化(秒)
layout 4.702 1.973 2.38× 0.429 0.410
mfr 21.535 12.283 1.75× 0.470 0.915
ocr_det 1.154 0.705 1.64× 0.028 0.071
ocr_rec 17.394 8.937 1.95× 0.061 0.065
unet 0.225 0.110 2.04× 0.019 0.025

MFR 共 151 个公式:18 个满批(每批 8 个)和一个尾批(7 个)。WebGPU 路线的 MFR 初始化包含额外 CPU 尾批会话。

路线 实际 EP 批量 调用次数 推理(秒)
cpu-observed CPUExecutionProvider 8 18 18.674
cpu-observed CPUExecutionProvider 7 1 2.861
webgpu-observed WebGpuExecutionProvider 8 18 9.374
webgpu-observed CPUExecutionProvider 7 1 2.909

排除预热后的模型回放

前五行使用生产 CPU 解析中捕获的第一批真实输入;UNet 使用 4130107.pdf 的全部 24 张已有 layout 裁切图,不按表格类型分流。 每个后端预热一遍,再交替顺序测量五轮,取总推理时间中位数。初始化和预热另列;后处理不计时。 该单批 rec 输入是 [6,3,48,320],比自动校准的 [6,3,48,1012] 窄,因此不能用其速度代替整份文档的结果。

模型/输入 CPU(秒) WebGPU(秒) 加速 CPU/GPU 初始化(秒) CPU/GPU 预热(秒)
layout 0.516468 0.222966 2.32× 0.452 / 0.427 0.505 / 0.267
mfr 0.976330 0.364917 2.68× 0.603 / 0.449 1.083 / 0.379
mfr_tail 2.869976 5.246856 0.55× 0.566 / 0.428 2.871 / 5.360
ocr_det 0.006753 0.006659 1.01× 0.013 / 0.046 0.011 / 0.025
ocr_rec 0.017542 0.023186 0.76× 0.035 / 0.060 0.027 / 0.046
UNet / 24 张表 1.432913 0.501504 2.86× 0.018 / 0.055 1.551 / 0.545

mfr_tail 的全 GPU 回放仅用于验证分流收益,生产代码仍将不足 8 的批次送给 CPU。 UNet:24 张表中 23 张掩码完全一致,p04-t02 有 1 个像素不同;总共 9,110,528 个掩码像素。 MFR、MFR 尾批和 rec 回放的解码 token 均一致。小尺寸 rec 输入上 GPU 较慢,完整 PDF 的 rec 累计推理仍有明显加速。

EP 与 CPU 算子回退

单独创建 profiling 会话,在计时完成后采样首个输入。以下为该次 profile 执行到的独立节点数量,不能当作耗时占比。

模型 WebGPU 节点 CPU 节点 CPU 算子种类
layout 1397 304 Add, Cast, Concat, CumSum, Equal, Expand, Gather, GatherElements, GatherND, Less, LessOrEqual, Max, Min, Mod, Mul, Range, ReduceSum, Reshape, ScatterElements, ScatterND, Shape, Slice, Squeeze, Sub, Tile, TopK, Transpose, Unsqueeze, Where
mfr 616 275 Add, Cast, Concat, ConstantOfShape, Equal, Expand, Gather, Loop, Mul, Range, ReduceMax, Reshape, Shape, Slice, Unsqueeze, Where
ocr_det 158 0 无
ocr_rec 204 3 Concat, Gather, Slice
unet 155 38 Concat, Gather, Slice, Unsqueeze

所有目标会话实际启用 WebGpuExecutionProvider;CPU 节点属于图内分配,没有整会话静默回退。 SLANet Plus、表格分类和印章检测仍走 CPU。此数据只验证当前 AMD Linux 主机,不据此修改 DML 阈值或推广为全部 GPU 的速度保证。

复现与原始数据

机器可读报告 包含逐次校准、模型/源码 SHA256、输入形状、输出差异、EP 参数及生命周期结果。 原始目录为 demo/output/webgpu-production-20261021/,包含 benchmark.py、analyze.py、逐次输出、捕获张量及 profile。 从项目根目录使用 .venv/bin/python 运行,完整解析分别设置 MINERU_MODEL_SMALL_BACKEND=onnx、 MINERU_MODEL_ONNX_DEVICE=cpu|gpu、MINERU_INTRA_OP_NUM_THREADS=4、MINERU_INTER_OP_NUM_THREADS=1; 调用 benchmark.py parse --output <新目录>;需要独立推理观测时增加 --observe。 六图校准与正式使用方法见 ONNX 设备选择。