Skip to content

PTQ-Level Efficiency, QAT-Level Accuracy | 训练后量化的效率,量化感知训练的精度

3.3 KB
Raw Blame

算法组合

AutoRound 可以在量化之前(或量化过程中)与多种算法结合使用。 本页对每种组合进行汇总,并从两个维度进行评级:

  • 精度收益(Accuracy Gain) —— 相比原始 AutoRound,该变换是否能提升量化模型的精度?
  • 可部署性(Deployment) —— 得到的模型当前是否能够实际部署/服务 (内核支持、导出路径、真实推理引擎)?

图例

信号灯 含义
🟢 良好 —— 收益明显 / 可直接部署
🟡 部分 —— 收益有条件 / 支持有限或处于实验阶段
🔴 较差 —— 无明显收益 / 暂时无法部署

说明: 「精度收益」被评为部分/较差可能有两方面原因: (1)当前AutoRound实现尚存在局限;(2)来自我们内部的主观评估。 二者都会随着实现完善与更多评测数据的补充而变化。

矩阵

组合 精度收益 可部署性 详情 命令行用法 备注 参考文献
AutoRound + AWQ(激活感知缩放) 🟢 🟢 awq_details --algorithm awq,signround 在量化激活(如 W4A4)场景下推荐使用。 arXiv:2306.00978
AutoRound + Hadamard 旋转 🟢 🔴 rotation_details --algorithm hadamard,signround 尤其适用于 INT4(W4A4)及部分 MXFP4 场景;暂无生产内核。 arXiv:2404.00456
AutoRound + SpinQuant 🟡 🔴 rotation_details 仅 Python API 需学习旋转矩阵,精度更高但有额外训练开销;暂无生产内核。 arXiv:2405.16406
AutoRound + LFQ(logit 感知的末层块量化) 🟡 🟢 lfq_acc --enable_lfq 优化末层块以提升低比特生成质量。 arXiv:2605.29756
AutoRound + MX Attention(MXFP4 变体) 🟡 🔴 mxnv_acc --data_type mx_fp4_rceil_v2 采用 7.25 作为 scale 计算的分母。 arXiv:2607.24377
AutoRound + SVDQuant(低秩离群值吸收) 🟡 🟡 svdquant_details --algorithm svdquant,signround 推荐用于扩散模型;目前仅支持 FLUX。 arXiv:2411.05007