Skip to content

PTQ-Level Efficiency, QAT-Level Accuracy | 训练后量化的效率,量化感知训练的精度

5.3 KB
Raw Blame

NVFP4 E5M3 量化(实验性功能)

注意:这是一个实验性功能,后续版本中 API、格式及行为可能发生变化。

概述

NVFP4 E5M3 是一种量化方案,以 FP4(E2M1)格式存储权重,并使用无符号 E5M3 块级 scale(区别于标准 NVFP4 使用全局 scale 的方式)。激活值通过 QDQ(量化-反量化)操作在推理时动态量化。

主要参数:

参数 值
预设名称 NVFP4_E5M3
权重数据类型 FP4 E2M1(nvfp4_v2)
Scale 数据类型 UE5M3(块级别)
分组大小 16
激活量化位宽 4(动态 QDQ)

重要:LLMC/llm-compressor 当前并不支持 NVFP4_E5M3 方案的导出。当前请优先使用 AutoRound 原生格式或 fake 格式,并持续关注 vLLM 使用文档中的最新支持路径。

支持的输出格式

格式标志 说明
auto_round(默认) 打包的 .weight_packed + .weight_scale 张量,可使用 AutoRound 推理加载
llm_compressor nvfp4-e5m3-pack-quantized compressed-tensors 布局
fake 全精度(BF16).weight 张量,推理时仅做激活 QDQ,无打包开销

支持的推理后端

后端 说明
auto_round:cute_nvfp4_e5m3 CUDA CuTe DSL 内核(权重反量化 + 激活 QDQ),需要 cutlass 包及 SM80+,速度最快
auto_round:torch_nvfp4_e5m3 纯 PyTorch 反量化 + 激活 QDQ,适用于任意 CUDA 设备
auto_round:fake BF16 权重 + 仅激活 QDQ(无权重打包),用于调试 / 性能分析

使用方法

标准 AutoRound 流程

from auto_round import AutoRound
from auto_round.schemes import NVFP4_E5M3

model, tokenizer = ...  # 加载你的模型

autoround = AutoRound(model, tokenizer, scheme=NVFP4_E5M3)
autoround.quantize()

# 以 auto_round 打包格式保存(默认)
autoround.save_quantized("output_dir")

# 或以 llm_compressor 格式保存
autoround.save_quantized("output_dir", format="llm_compressor")

# 或以 fake 格式保存(全精度权重 + 推理时 QDQ)
autoround.save_quantized("output_dir", format="fake")

无模型量化(无需 GPU 训练)

# 对已有模型进行直接打包(来自 HuggingFace 或本地目录)
auto-round \
  --model <model_id_or_path> \
  --scheme NVFP4_E5M3 \
  --model_free \
  --output_dir ./nvfp4_e5m3_model
from auto_round.compressors.model_free import ModelFreeCompressor
from auto_round.schemes import NVFP4_E5M3

compressor = ModelFreeCompressor(
    model="<model_id_or_path>",
    scheme=NVFP4_E5M3,
    output_dir="./nvfp4_e5m3_model",
)
compressor.run()

加载量化后的模型

from transformers import AutoModelForCausalLM, AutoTokenizer
import auto_round  # 注册 AutoRound 推理钩子

model = AutoModelForCausalLM.from_pretrained(
    "./nvfp4_e5m3_model",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("./nvfp4_e5m3_model")

NVFP4_E5M3_GS:带全局 scale 的 E5M3 块级 scale

NVFP4_E5M3_GS 保留 FP4 E2M1 数值和 UE5M3 块级 scale,并像标准 NVFP4 一样为权重和激活额外增加一个张量级 FP32 全局 scale:

$$\text{global_scale} = \frac{114688 \times 6}{\text{amax}}, \qquad x \approx q \cdot \frac{\text{UE5M3}(\text{block_scale})}{\text{global_scale}}$$

参数 值
预设名称 NVFP4_E5M3_GS
权重数据类型 nvfp4_v2_gs
激活数据类型 nvfp4_v2_with_static_gs
额外张量 .weight_global_scale、.input_global_scale(FP32)
auto_round 打包格式 auto_round:llm_compressor_nvfp4_e5m3_gs
llm_compressor 格式 nvfp4-e5m3-gs-pack-quantized
推理后端 auto_round:cute_nvfp4_e5m3_gs、auto_round:torch_nvfp4_e5m3_gs
  • 常规调优流程:全局 scale 的计算方式与 NVFP4 一致。权重全局 scale 由权重 amax 得到,input_global_scale 由校准得到的激活 amax 得到。q/k/v 及 gate/up 投影共享最小的全局 scale。
  • 无模型量化流程:按层计算权重全局 scale,input_global_scale 固定为 1。
auto-round --model <model_id_or_path> --scheme NVFP4_E5M3_GS --output_dir ./nvfp4_e5m3_gs_model
auto-round --model <model_id_or_path> --scheme NVFP4_E5M3_GS --model_free --output_dir ./nvfp4_e5m3_gs_model

环境变量

AR_NVFP4_E5M3_CACHE_HP_WEIGHT

控制 NVFP4 E5M3 QuantLinear 是否在首次前向传播后缓存反量化的高精度(BF16)权重,而不是每次调用时重新反量化。

取值 行为
0 / false / no / off(默认) 每次前向传播都进行反量化(内存更少,计算量更多)
1 / true / yes / on 首次前向后缓存反量化权重(计算量更少,内存占用更多)

启用缓存后,打包权重缓冲区在缓存生成后会被释放,以较高的稳态内存换取较低的运行时开销。

export AR_NVFP4_E5M3_CACHE_HP_WEIGHT=1

精度结果(Llama-3.1-8B-Instruct,LAMBADA OpenAI)

配置 耗时 准确率
BF16 基线 1m 5s 0.7213
auto_round + auto_round:cute_nvfp4_e5m3 1m 48s 0.7196
auto_round + auto_round:torch_nvfp4_e5m3 4m 23s 0.7204
llm_compressor + auto_round:cute_nvfp4_e5m3 1m 48s 0.7196
fake + auto_round:fake 3m 26s 0.7204