Skip to content

SOTA-Class TTS at Compact Scale

Python
3.8 KB
Raw Blame

监督微调(SFT)

系列首页 · English · 推理

从仓库根目录执行,并显式选择需要微调的版本。

export MODEL=Edge0/Audio8-TTS-Realistic-Air
# Preview 0.6B: export MODEL=Edge0/Audio8-TTS-Preview-0.6b
# Preview 0.1B: export MODEL=Edge0/Audio8-TTS-Preview-0.1b

Trainer 根据所选模型的输出头适配 slow loss:

模型 Slow loss 目标 Gradient checkpointing
Realistic Air / Preview 0.6B 完整词表中的 token ID,包含 EOS 保持关闭;已发布模型不支持此功能
Preview 0.1B Semantic 类别 0–4095,EOS 类别 4096;其余 token 忽略 默认关闭,可显式开启

该映射仅用于 slow loss 和 accuracy。模型输入保留原始 token ID,fast codebook 目标保持不变。

先安装训练依赖:

pip install -r requirements-train.txt

0.1B 的 Falcon-H1 主干可通过可选的 mamba-ssm 和 causal-conv1d 包使用优化后的 CUDA kernel。请选择与 PyTorch/CUDA 环境兼容的构建,并查看启动时是否有 kernel 回退警告。 0.6B 不需要这些包。

1. 创建原始数据 manifest

目标 audio 必填;reference_audio 和 reference_text 可选,但必须同时出现。

{"id":"utt_001","text":"目标音频文本","audio":"audio/target.wav","reference_audio":"audio/reference.wav","reference_text":"参考音频文本"}
{"id":"utt_002","text":"另一条文本","audio":"audio/another.wav"}

2. 预计算 codec indices

python audio8_tts_prepare.py \
  --model "${MODEL}" \
  --input-jsonl data/train.jsonl \
  --output-jsonl prepared_data/train.jsonl \
  --batch-size 4

生成的 manifest 使用相对路径指向经过校验的 [10, T] NumPy 数组。除非传入 --overwrite,否则已有的有效数组会被复用。

3. 开始训练

单卡:

MODEL="${MODEL}" \
TRAIN_JSONL=prepared_data/train.jsonl \
NPROC_PER_NODE=1 \
bash audio8_tts_sft.sh

单机八卡:

MODEL="${MODEL}" \
TRAIN_JSONL=prepared_data/train.jsonl \
NPROC_PER_NODE=8 \
BATCH_SIZE=2 \
GRADIENT_ACCUMULATION_STEPS=8 \
bash audio8_tts_sft.sh

多机训练时,在每个节点设置 NNODES、NODE_RANK、MASTER_ADDR 和 MASTER_PORT。常用超参 和输出路径可通过 audio8_tts_sft.sh 中列出的环境变量覆盖,也可以在命令末尾附加 Transformers 参数。

启动脚本附带 DeepSpeed ZeRO-2 配置,其中的 auto 值跟随训练参数。 可设置 DEEPSPEED_CONFIG=/path/to/config.json,或在命令末尾附加 --deepspeed /path/to/config.json 使用其他配置文件;命令末尾的参数优先。 Gradient checkpointing 默认关闭。仅对 0.1B,可按需设置 GRADIENT_CHECKPOINTING=true 以减少 activation 显存占用。

默认每张 GPU 的 microbatch 包含 2 条样本,累积 8 个 microbatch 后更新一次参数,即每个 optimizer step 每张卡处理 16 条样本,8 卡共 128 条。比较耗时前应区分 microstep 和 optimizer step。

训练目标与导出

SFT 同时优化 slow semantic/EOS loss 和 fast codebook teacher-forcing loss。Fast loss 保留全部 10 个码本,包括作为辅助预测目标的第一个 semantic 码本,与已有训练目标保持一致。

每个 microbatch 的 loss 为 slow 平均 loss 与 fast 平均 loss 的加权和,权重分别为 slow_loss_weight 和 fast_loss_weight。梯度累积对这些 microbatch loss 取平均,不按整个累积窗口的 token 总数重新加权。Fast accuracy 衡量码本 token 的精确命中率,并不直接代表语音质量。

只训练其中一个分支时,可设置 FREEZE_SLOW_AR=true 或 FREEZE_FAST_AR=true。 导出目录仍可通过标准 AutoModel 和 AutoProcessor 接口配合 trust_remote_code=True 加载。