Skip to content

Open-source speech recognition toolkit for training, inference, streaming ASR, VAD, punctuation, speaker diarization pipelines, and OpenAI-compatible/MCP serving.

docs: rewrite vllm_guide.md - unified structure, dynamic VAD only, stream/offline separation

游雁e46abebc88bd
diff --git a/docs/vllm_guide.md b/docs/vllm_guide.md
index 6ca5f726c..30e616ab9 100644
--- a/docs/vllm_guide.md
+++ b/docs/vllm_guide.md
@@ -1,17 +1,15 @@
# FunASR vLLM 推理引擎指南
-FunASR 集成 vLLM 高吞吐推理引擎,用于加速 LLM-based ASR 模型的自回归解码。支持离线批量推理、SDK 流式推理、生产级 WebSocket 实时服务三种模式。
-
---
## 目录
1. [概述](#1-概述)
2. [安装与环境](#2-安装与环境)
-3. [离线批量推理](#3-离线批量推理)
-4. [流式 SDK 推理](#4-流式-sdk-推理)
-5. [实时 WebSocket 服务](#5-实时-websocket-服务)
-6. [性能对比](#6-性能对比)
+3. [离线推理](#3-离线推理)
+4. [实时流式服务](#4-实时流式服务)
+5. [动态 VAD](#5-动态-vad)
+6. [Benchmark](#6-benchmark)
7. [API 参考](#7-api-参考)
8. [FAQ](#8-faq)
@@ -19,93 +17,58 @@ FunASR 集成 vLLM 高吞吐推理引擎,用于加速 LLM-based ASR 模型的
## 1. 概述
-### 适用模型
+FunASR 集成 vLLM 推理引擎,加速 LLM-based ASR 模型的自回归解码(PagedAttention + 连续批处理)。
+
+### 支持模型
-| 模型 | vLLM 支持 | 说明 |
-|------|-----------|------|
-| **FunASRNano** | ✓ | Qwen3-0.6B LLM,支持离线和流式 |
-| **LLMASR** | ✓ | Whisper + Qwen/Vicuna/LLaMA |
-| **GLMASR** | ✓ | GLM-ASR-Nano (RTFx 263, CER 12.92%) |
-| **QwenAudioWarp** | ✓ | Qwen-Audio |
-| Paraformer | ✗ | 非自回归模型(CIF predictor),无 LLM 解码 |
-| SenseVoice | ✗ | Whisper-like encoder-decoder,非 LLM |
-| Conformer/Transformer | ✗ | CTC/attention 解码,非 LLM |
+| 模型 | 说明 | vLLM 加速 |
+|------|------|-----------|
+| **Fun-ASR-Nano** | Qwen3-0.6B,31语言+方言 | RTFx 371,CER 8.88% |
+| **GLM-ASR-Nano** | Llama 2B,17语言 | RTFx 265,CER 12.93% |
+| LLMASR | Whisper + Qwen/Vicuna | ✓ |
+| Paraformer / SenseVoice | 非自回归模型 | ✗ 不适用 |
### 架构
```
-┌────────────────────────────────────────────────────────┐
-│ FunASR + vLLM │
-├────────────────────────────────────────────────────────┤
-│ │
-│ Audio ──→ Frontend ──→ Audio Encoder ──→ Adaptor │
-│ (fbank) (SenseVoice) (Transformer) │
-│ │ │
-│ ▼ │
-│ Audio Embeddings │
-│ │ │
-│ Text Prompt ──→ Tokenize ──→ Embed ──→ [Concat] │
-│ (hotwords/language/itn) │ │
-│ ▼ │
-│ ┌──────────────┐ │
-│ │ vLLM Engine │ │
-│ │ (Qwen3 etc) │ │
-│ │ TP 并行加速 │ │
-│ └──────┬───────┘ │
-│ ▼ │
-│ Generated Text │
-│ │
-│ (可选) CTC Forced Alignment ──→ 字级别时间戳 │
-└────────────────────────────────────────────────────────┘
+Audio ──→ Frontend ──→ Encoder ──→ Adaptor ──→ Audio Embeddings
+ │
+Text Prompt ──→ Tokenize ──→ Embed ──────────→ [Concat] ──→ vLLM LLM ──→ Text
+ │
+ CTC Forced Alignment ──→ Timestamps
```
-### 三种使用模式
-
-| 模式 | 入口 | 适用场景 |
-|------|------|---------|
-| [离线批量推理](#3-离线批量推理) | `AutoModelVLLM` / `FunASRNanoVLLM` | 大规模转写、批量处理 |
-| [流式 SDK 推理](#4-流式-sdk-推理) | `FunASRNanoStreamingVLLM` | 实时字幕展示(SDK 集成) |
-| [WebSocket 实时服务](#5-实时-websocket-服务) | `serve_realtime_ws.py` | 生产部署、多端接入 |
+音频编码在 PyTorch 中完成,LLM 解码由 vLLM 加速。两者通过 `EmbedsPrompt` 连接。
---
## 2. 安装与环境
-### 依赖
-
```bash
pip install funasr>=1.3.0
pip install vllm>=0.12.0
-pip install safetensors tiktoken websockets regex
+pip install safetensors tiktoken websockets regex fastapi uvicorn
-# FunASR 开发模式安装(需要 auto_model_vllm)
cd /path/to/FunASR && pip install -e .
```
-### 硬件要求
-
-| 配置 | 最低要求 | 推荐 |
-|------|---------|------|
-| GPU 显存 | 8GB | 16GB+ |
-| CUDA | 11.8 | 12.0+ |
-| GPU 数量 | 1 | 2+(tensor parallel) |
+**硬件要求**:GPU ≥ 8GB VRAM,CUDA ≥ 11.8。推荐 16GB+。
---
-## 3. 离线批量推理
+## 3. 离线推理
-适用于大规模音频转写、离线批量处理。vLLM 的批处理能力在此场景优势最大。
+适用于批量转写、文件处理。音频先经动态 VAD 切分为段,再 batch 送入 vLLM 推理。
-### 通用接口(推荐)
+### 使用方式
```python
from funasr.auto.auto_model_vllm import AutoModelVLLM
model = AutoModelVLLM(
model="FunAudioLLM/Fun-ASR-Nano-2512",
- hub="ms", # 或 "hf"
- tensor_parallel_size=2, # 多卡并行
- gpu_memory_utilization=0.8,
+ tensor_parallel_size=1,
+ gpu_memory_utilization=0.5,
)
results = model.generate(
@@ -115,328 +78,176 @@ results = model.generate(
)
for r in results:
print(f"[{r['key']}] {r['text']}")
- # 字级别时间戳(CTC forced alignment)
if "timestamps" in r:
for ts in r["timestamps"]:
print(f" {ts['token']} [{ts['start_time']:.2f}-{ts['end_time']:.2f}s]")
```
-> Fun-ASR-Nano 自动输出字级别时间戳(CTC forced alignment),无需额外配置。
+**输出包含**:识别文本 + 字级别时间戳(CTC forced alignment,自动输出)。
-### 直接接口
+### GLM-ASR
```python
-from funasr.models.fun_asr_nano.inference_vllm import FunASRNanoVLLM
+from funasr.models.glm_asr.inference_vllm import GLMASRVLLMEngine
-engine = FunASRNanoVLLM.from_pretrained(
- model="FunAudioLLM/Fun-ASR-Nano-2512",
- tensor_parallel_size=4,
-)
-
-results = engine.generate(
- inputs="wav.scp", # 支持 scp/jsonl/文件列表
- hotwords=["开放时间"],
- language="中文",
- max_new_tokens=512,
-)
+engine = GLMASRVLLMEngine.from_pretrained("zai-org/GLM-ASR-Nano-2512")
+results = engine.generate(inputs=["audio.wav"])
```
-### 命令行
+### 离线动态 VAD 配置
-```bash
-cd examples/industrial_data_pretraining/fun_asr_nano
+离线场景下,动态 VAD 倾向保留较长段(≤60s),减少边界切割损失:
+
+| 累积语音时长 | 静音阈值 | 说明 |
+|------------|---------|------|
+| ≤ 10s | 2000ms | 充分等待,短句不切碎 |
+| 10-20s | 1000ms | 逐步收紧 |
+| 20-30s | 800ms | |
+| 30-40s | 600ms | |
+| 40-50s | 400ms | |
+| 50-60s | 200ms | 接近上限 |
+| > 60s | 100ms | 强制切分 |
-# 单文件
-python demo_vllm.py --input audio.wav --language 中文
+> GLM-ASR 不支持长音频段推理(>15s 质量下降),应配合传统 VAD(固定阈值 800ms)使用。
-# 批量 + 多卡
-python demo_vllm.py --input wav.scp --tensor-parallel-size 4 --batch-size 32
+### 命令行
-# 带热词 + 保存结果
-python demo_vllm.py --input audio.wav --hotwords 张三 北京 --output results.jsonl
+```bash
+python benchmark_vllm.py \
+ --model FunAudioLLM/Fun-ASR-Nano-2512 \
+ --audio-dir /path/to/audio \
+ --label-json /path/to/labels.json
```
---
-## 4. 流式 SDK 推理
+## 4. 实时流式服务
-将音频按 720ms chunk 逐步处理,输出逐步稳定的识别结果。适用于 SDK 集成实时字幕场景。
+两种服务模式:WebSocket 流式(逐帧推送)和 HTTP 非流式(文件上传)。
-### 设计原理
+### 4.1 WebSocket 流式服务(serve_realtime_ws.py)
-```
-音频流(720ms chunks)
- │ 累积重编码(每个 chunk 包含从头到当前的全部音频)
- ▼
-┌──────────────────────┐
-│ Stage 1: 前 10 chunk │ ← 无 prev_text,批量生成
-│ 找到稳定输出 │
-└──────────┬───────────┘
- ▼
-┌──────────────────────┐
-│ Stage 2: 后续 chunk │ ← 用稳定输出作 prev_text
-└──────────┬───────────┘
- ▼
-每个 chunk: [fixed 区域(确认)] + [8字 unfixed(可能变)]
-```
-
-### 用法
-
-```python
-from funasr.models.fun_asr_nano.inference_vllm_streaming import FunASRNanoStreamingVLLM
+音频实时到达,VAD 检测端点后逐段解码,partial 预览持续更新。
-engine = FunASRNanoStreamingVLLM.from_pretrained(
- model="FunAudioLLM/Fun-ASR-Nano-2512",
- chunk_ms=720,
- rollback_chars=8,
-)
-
-for result in engine.streaming_generate("audio.wav", language="中文"):
- if result["is_final"]:
- print(f"最终: {result['text']}")
- else:
- print(f"[{result['audio_duration_ms']:.0f}ms] 确认: {result['fixed_text']}")
+```bash
+CUDA_VISIBLE_DEVICES=0 python serve_realtime_ws.py --port 10095 --language 中文
```
-### 输出特性
-
-| 累积音频 | 输出质量 |
-|---------|---------|
-| < 1.5s | 空或噪声 |
-| 1.5-3.0s | 部分正确 |
-| > 3.0s | 准确输出 |
-
-> Note: `repetition_penalty=1.3` 内部硬编码,防止短 chunk 重复退化。
-
----
-
-## 5. 实时 WebSocket 服务
+**流式动态 VAD 配置**(与离线不同,更积极切分以降低延迟):
-生产级实时语音识别服务,集成 VAD 分句 + vLLM 推理 + 说话人分离 + 热词。
+| 累积语音时长 | 静音阈值 | 说明 |
+|------------|---------|------|
+| ≤ 5s | 2000ms | 等用户说完一句 |
+| 5-10s | 1500ms | |
+| 10-15s | 1000ms | |
+| 15-30s | 800ms | |
+| 30-45s | 400ms | 快速切分 |
+| > 45s | 100ms | 强制切分 |
-### 推理逻辑
-
-**核心设计:基于 VAD 端点逐段解码(非固定 chunk)**
+**协议**:
```
-音频流 ──→ StreamingVAD (60ms) ──→ 检测到端点 ──→ vLLM 解码整段
- │ │
- │ ▼
- │ locked_sentences(锁定)
- │ │
- │ ▼
- │ SPK assign(说话人分配)
- │
- └──→ 未结束 ──→ vLLM partial decode(每0.48s)
- │
- ▼
- partial text(预览,会覆盖)
+Client → Server: "START" | "HOTWORDS:词1,词2" | "LANGUAGE:中文" | [bytes] | "STOP"
+Server → Client: {"sentences":[...], "partial":"...", "is_final":false}
```
-**两条推理路径:**
-
-| 路径 | 触发条件 | 输出 |
-|------|---------|------|
-| 确认段解码 | VAD 检测到静音端点 | 锁定到 sentences,永不改变 |
-| Partial 预览 | 每 0.48s + 新音频 ≥ 960ms | 临时文字,随时覆盖 |
+### 4.2 HTTP/OpenAI 统一服务(serve_vllm.py)
-**动态 VAD 阈值:**
+集成 VAD + vLLM + SPK + 时间戳,提供三种 API:
-| 累积时长 | 静音阈值 | 效果 |
-|---------|---------|------|
-| ≤ 5s | 2.0s | 短句不切碎 |
-| 5-10s | 1.5s | 正常分句 |
-| 10-15s | 1.0s | 开始收紧 |
-| 15-30s | 0.8s | 较快切分 |
-| 30-45s | 0.4s | 防止过长 |
-| > 45s | 0.1s | 强制切分 |
+```bash
+CUDA_VISIBLE_DEVICES=0 python serve_vllm.py --port 8899
+```
-**STOP 最终处理:**
-1. 剩余音频喂给 VAD(is_final=True)
-2. 强制结束当前在说话的段
-3. 全局 SPK 重聚类(修正说话人 ID)
-4. 返回 `is_final: true`
+| 接口 | 路径 | 功能 |
+|------|------|------|
+| HTTP REST | `POST /asr` | 文件上传 → text + timestamps + speaker |
+| OpenAI API | `POST /v1/audio/transcriptions` | Whisper 兼容 |
+| WebSocket | `ws://host:port/ws` | 流式音频 |
-### 部署
+**示例**:
```bash
-cd examples/industrial_data_pretraining/fun_asr_nano
+# 基本识别
+curl -X POST http://localhost:8899/asr -F "[email protected]" -F "language=中文"
-# 单卡
-CUDA_VISIBLE_DEVICES=0 python serve_realtime_ws.py --port 10095 --language 中文
-
-# 多卡
-CUDA_VISIBLE_DEVICES=0,1 python serve_realtime_ws.py \
- --port 10095 --tensor-parallel-size 2 --language 中文
+# 开启说话人分离(默认关闭)
+curl -X POST http://localhost:8899/asr -F "[email protected]" -F "spk=true"
-# 完整参数
-python serve_realtime_ws.py \
- --port 10095 \
- --model FunAudioLLM/Fun-ASR-Nano-2512 \
- --hub ms \
- --device cuda:0 \
- --decode-interval 0.48 \
- --hotword-file 热词列表 \
- --language 中文 \
- --dtype bf16 \
- --tensor-parallel-size 1 \
- --gpu-memory-utilization 0.8 \
- --max-model-len 2048
+# OpenAI 兼容(含字级别时间戳)
+curl -X POST http://localhost:8899/v1/audio/transcriptions \
+ -F "[email protected]" -F "model=fun-asr-nano" -F "response_format=verbose_json"
```
-### 客户端
+> SPK 默认关闭。开启后 RTFx 从 102 降至 46(聚类开销),CER 不受影响。
-| 客户端 | 用法 |
-|--------|------|
-| 浏览器 | 打开 `client_mic.html`(麦克风/文件/热词/说话人) |
-| Python CLI | `python client_python.py --server ws://localhost:10095 --mic` |
-| 测试脚本 | `python client_test.py --server ws://localhost:10095 --file audio.wav` |
+---
-远程访问需 SSH 端口转发:`ssh -L 10095:localhost:10095 <server>`
+## 5. 动态 VAD
-### WebSocket 协议
+FunASR 的 fsmn-vad 默认启用动态静音阈值:根据当前语音段累积时长自动调整切分灵敏度。
-**客户端 → 服务端:**
+### 离线 vs 流式的策略差异
-| 消息 | 格式 | 说明 |
+| 场景 | 策略 | 目标 |
|------|------|------|
-| 开始会话 | `"START"` | 初始化 session |
-| 设置热词 | `"HOTWORDS:词1,词2"` | 可选 |
-| 设置语种 | `"LANGUAGE:中文"` | 可选 |
-| 音频数据 | `bytes` | PCM16, 16kHz, mono |
-| 结束会话 | `"STOP"` | 触发最终解码 |
-
-**服务端 → 客户端:**
-
-```json
-// 事件
-{"event": "started"}
-{"event": "hotwords_set", "hotwords": ["词1", "词2"]}
-{"event": "language_set", "language": "中文"}
-{"event": "stopped"}
-
-// 实时结果
-{
- "sentences": [{"text": "已确认", "start": 1700, "end": 5500, "spk": 0}],
- "partial": "正在说...",
- "partial_start_ms": 5800,
- "duration_ms": 7200,
- "is_final": false
-}
-
-// 最终结果
-{
- "sentences": [{"text": "...", "start": ..., "end": ..., "spk": ...}, ...],
- "partial": "",
- "partial_start_ms": 0,
- "duration_ms": 10000,
- "is_final": true
-}
-```
+| **离线** | 宽松阈值(2000→100ms) | 保留长段,减少边界损失 |
+| **流式** | 中等阈值(2000→100ms,但更快收紧) | 平衡延迟和完整性 |
-**交互时序:**
+两者都是动态的,区别在于收紧速度。离线场景音频已完整到达,容忍更长段;流式需要更快给出结果。
-```
-Client Server
- │── "START" ─────────────────→│
- │←─ {"event":"started"} ──────│
- │── "HOTWORDS:张三,北京" ────→│
- │←─ {"event":"hotwords_set"} ─│
- │── "LANGUAGE:中文" ─────────→│
- │←─ {"event":"language_set"} ─│
- │── [audio bytes] ───────────→│
- │←─ {sentences,partial} ──────│ (实时推送)
- │── [audio bytes] ───────────→│
- │←─ {sentences,partial} ──────│
- │── "STOP" ──────────────────→│
- │←─ {sentences,is_final:true} │ (最终结果)
- │←─ {"event":"stopped"} ──────│
+### 自定义配置
+
+```python
+# 通过 AutoModel 调用时传入
+model.generate(input="audio.wav", silence_schedule=[
+ (5000, 1500),
+ (15000, 800),
+ (30000, 400),
+ (float('inf'), 200),
+])
```
-### 热词文件
+### DynamicStreamingVAD(流式 wrapper)
-默认文件名 `热词列表`(`--hotword-file` 指定),一行一个词:
+```python
+from funasr.models.fsmn_vad_streaming.dynamic_vad import DynamicStreamingVAD
-```
-张三
-李四
-北京大学
+vad = DynamicStreamingVAD(vad_model)
+for chunk in audio_stream:
+ segments = vad.feed(chunk)
+ for seg in segments:
+ print(f"Speech: {seg[0]}-{seg[1]}ms")
+final = vad.finalize()
```
-也可通过 WebSocket 动态设置:`HOTWORDS:词1,词2,词3`
+**属性**:`vad.is_speaking`、`vad.current_duration_ms`、`vad.current_threshold_ms`
---
-## 6. 性能对比
+## 6. Benchmark
-### Benchmark 结果(184 files, 11541s audio, 1947 VAD segments)
+**测试集**:184 文件,11541 秒音频,1947 VAD 段(固定阈值)/ 1120 段(动态阈值)。
| 模型 | 引擎 | VAD | RTFx | CER | 备注 |
|------|------|-----|------|-----|------|
-| Fun-ASR-Nano | PyTorch | fixed | 17.1 | 8.90% | 基准 |
-| Fun-ASR-Nano | PyTorch | dynamic | 21.2 | 8.06% | |
-| Fun-ASR-Nano | **vLLM batch** | fixed | **371** | 8.88% | 21.7x 加速 |
-| Fun-ASR-Nano | **vLLM batch** | dynamic | **340** | **8.20%** | 19.9x 加速 |
-| Fun-ASR-Nano | **Service (no SPK)** | dynamic | **102** | 8.14% | 含 VAD + 时间戳 |
-| Fun-ASR-Nano | **Service (with SPK)** | dynamic | **46** | 8.19% | 含 VAD + 时间戳 + 说话人 |
-| Fun-ASR-Nano | yuekaizhang vLLM | fixed | 273 | 17.07% | 第三方实现 |
-| GLM-ASR-Nano | **vLLM batch** | fixed | **265** | 12.93% | 7.6x 加速 |
-| GLM-ASR-Nano | vLLM batch | dynamic | - | - | 不支持长音频推理 |
-
-**关键结论:**
-- vLLM 与 PyTorch CER 完全一致(Fun-ASR-Nano 差 < 0.02%)
-- 新动态 VAD 对 Fun-ASR-Nano 有效(CER 8.90% → 8.20%),不适用于 GLM-ASR(不支持长音频)
-- Fun-ASR-Nano vLLM batch 加速 21.7x,Service 模式加速 6x
-- SPK 默认关闭(RTFx 102),开启后 RTFx 46(增加说话人聚类开销)
-- 比第三方 yuekaizhang/Fun-ASR-vllm 快 36%,且 CER 优 8%
-
-### 统一 vLLM 服务(serve_vllm.py)
-
-集成动态 VAD + SPK + 时间戳 + vLLM 推理的统一服务,提供三种接口:
-
-```bash
-CUDA_VISIBLE_DEVICES=0 python examples/industrial_data_pretraining/fun_asr_nano/serve_vllm.py --port 8899
-```
-
-| 接口 | 路径 | 功能 |
-|------|------|------|
-| HTTP REST | `POST /asr` | 文件上传,返回 text + segments + timestamps + speaker |
-| OpenAI API | `POST /v1/audio/transcriptions` | Whisper 兼容,支持 verbose_json |
-| WebSocket | `ws://host:port/ws` | 流式音频,实时返回结果 |
-
-**HTTP REST 示例:**
-```bash
-curl -X POST http://localhost:8899/asr -F "[email protected]" -F "language=中文" -F "spk=true" -F "timestamp=true"
-```
-
-**OpenAI API 示例:**
-```bash
-curl -X POST http://localhost:8899/v1/audio/transcriptions -F "[email protected]" -F "model=fun-asr-nano" -F "response_format=verbose_json"
-```
-
-**性能(227s 音频):** RTF=0.015,处理时间 3.4s
-
-### 复现 Benchmark
+| Fun-ASR-Nano | PyTorch | fixed | 17 | 8.90% | 基准 |
+| Fun-ASR-Nano | PyTorch | dynamic | 21 | 8.06% | |
+| Fun-ASR-Nano | **vLLM batch** | fixed | **371** | 8.88% | 21.7x |
+| Fun-ASR-Nano | **vLLM batch** | dynamic | **340** | **8.20%** | 19.9x |
+| Fun-ASR-Nano | **Service (no SPK)** | dynamic | **102** | 8.14% | |
+| Fun-ASR-Nano | **Service (+SPK)** | dynamic | **46** | 8.19% | SPK 默认关闭 |
+| Fun-ASR-Nano | yuekaizhang vLLM | fixed | 273 | 17.07% | 第三方 |
+| GLM-ASR-Nano | **vLLM batch** | fixed | **265** | 12.93% | 7.6x |
+| GLM-ASR-Nano | vLLM batch | dynamic | — | — | 不支持长音频推理 |
+
+**复现**:
```bash
-# Fun-ASR-Nano
CUDA_VISIBLE_DEVICES=0 python benchmark_vllm.py \
--model FunAudioLLM/Fun-ASR-Nano-2512 \
--audio-dir /path/to/benchmark_audio \
--label-json /path/to/benchmark_testset.json
-
-# GLM-ASR-Nano
-CUDA_VISIBLE_DEVICES=0 python benchmark_vllm.py \
- --model zai-org/GLM-ASR-Nano-2512 \
- --audio-dir /path/to/benchmark_audio \
- --label-json /path/to/benchmark_testset.json
-
-# Quick test (first 20 files, skip PyTorch)
-CUDA_VISIBLE_DEVICES=0 python benchmark_vllm.py \
- --model FunAudioLLM/Fun-ASR-Nano-2512 \
- --max-files 20 --skip-pytorch \
- --audio-dir /path/to/benchmark_audio \
- --label-json /path/to/benchmark_testset.json
```
---
@@ -445,202 +256,61 @@ CUDA_VISIBLE_DEVICES=0 python benchmark_vllm.py \
### AutoModelVLLM
-```python
-from funasr.auto.auto_model_vllm import AutoModelVLLM
-```
-
-通用入口,自动检测模型类型并选择对应的 vLLM 实现。
-
| 参数 | 默认值 | 说明 |
|------|--------|------|
-| `model` | - | 模型名(hub)或本地路径 |
+| `model` | — | 模型名或路径 |
| `hub` | `"ms"` | `"ms"` / `"hf"` |
-| `device` | `"cuda:0"` | 音频编码器设备 |
-| `dtype` | `"bf16"` | 精度 |
-| `tensor_parallel_size` | `1` | vLLM GPU 并行数 |
+| `tensor_parallel_size` | `1` | GPU 并行数 |
| `gpu_memory_utilization` | `0.8` | KV Cache 显存比例 |
| `max_model_len` | `4096` | 最大序列长度 |
-### AutoModelVLLM.generate()
+### generate()
-| 参数 | 默认值 | 说明 |
-|------|--------|------|
-| `inputs` | - | 音频路径/列表/numpy/tensor |
-| `language` | `None` | 语种提示 |
-| `hotwords` | `None` | 热词列表 |
-| `itn` | `True` | 逆文本正则化 |
-| `max_new_tokens` | `512` | 最大生成 token |
-| `temperature` | `0.0` | 采样温度 |
-| `repetition_penalty` | `1.0` | 重复惩罚 |
-
-**返回**: `[{"key": str, "text": str, "timestamps": [...]}]`
-
-### FunASRNanoStreamingVLLM.from_pretrained()
+| 参数 | 说明 |
+|------|------|
+| `inputs` | 音频路径列表 / numpy / tensor |
+| `language` | 语种("中文"/"English"/...) |
+| `hotwords` | 热词列表 |
+| `max_new_tokens` | 最大生成 token(默认 500) |
-| 参数 | 默认值 | 说明 |
-|------|--------|------|
-| `model` | `"FunAudioLLM/Fun-ASR-Nano-2512"` | 模型名或路径 |
-| `hub` | `"ms"` | 模型来源 |
-| `device` | `"cuda:0"` | 设备 |
-| `dtype` | `"bf16"` | 精度 |
-| `tensor_parallel_size` | `1` | GPU 并行数 |
-| `gpu_memory_utilization` | `0.8` | 显存比例 |
-| `max_model_len` | `2048` | 序列长度 |
-| `chunk_ms` | `720` | chunk 时长 |
-| `rollback_chars` | `8` | 回退字符数 |
+**返回**:`[{"key": str, "text": str, "timestamps": [...]}]`
-### streaming_generate()
+### serve_vllm.py 参数
| 参数 | 默认值 | 说明 |
|------|--------|------|
-| `audio_input` | - | 音频路径/数据 |
-| `chunk_ms` | `720` | chunk 大小 |
-| `rollback_chars` | `8` | 回退字符 |
-| `hotwords` | `None` | 热词 |
-| `language` | `None` | 语种 |
-| `max_new_tokens` | `200` | 每 chunk 最大 token |
-| `temperature` | `0.0` | 采样温度 |
-
-**Yields**: `{"text", "fixed_text", "is_final", "chunk_idx", "audio_duration_ms"}`
-
-> `repetition_penalty=1.3` 内部硬编码。
+| `--port` | 8000 | 服务端口 |
+| `--model` | Fun-ASR-Nano-2512 | 模型 |
+| `--gpu-memory-utilization` | 0.5 | 显存比例 |
+| `--max-model-len` | 4096 | 序列长度 |
### serve_realtime_ws.py 参数
| 参数 | 默认值 | 说明 |
|------|--------|------|
-| `--port` | `10095` | WebSocket 端口 |
-| `--model` | `FunAudioLLM/Fun-ASR-Nano-2512` | 模型 |
-| `--hub` | `ms` | 来源 |
-| `--device` | `cuda:0` | 设备 |
-| `--decode-interval` | `0.48` | partial 解码间隔(秒) |
-| `--hotword-file` | `热词列表` | 热词文件 |
-| `--language` | `None` | 语种 |
-| `--dtype` | `bf16` | 精度 |
-| `--tensor-parallel-size` | `1` | GPU 并行 |
-| `--gpu-memory-utilization` | `0.8` | 显存比例 |
-| `--max-model-len` | `2048` | 序列长度 |
+| `--port` | 10095 | WebSocket 端口 |
+| `--decode-interval` | 0.48 | partial 解码间隔 |
+| `--hotword-file` | 热词列表 | 一行一词 |
+| `--language` | None | 语种 |
---
## 8. FAQ
-### Q: 首次启动为什么慢?
-vLLM 需要初始化 KV Cache 和 CUDA Graph warmup,约 60-90 秒。后续推理即时响应。
+**Q: vLLM 首次启动慢?**
+KV Cache 初始化 + CUDA Graph warmup 约 60-90 秒,之后即时推理。
-### Q: CUDA OOM 怎么办?
-- 减小 `gpu_memory_utilization`(如 0.6)
-- 增加 `tensor_parallel_size` 分摊到多卡
-- 减小 `max_model_len`
+**Q: CUDA OOM?**
+减小 `gpu_memory_utilization`,增加 `tensor_parallel_size`,或减小 `max_model_len`。
-### Q: Paraformer 能用 vLLM 吗?
-不能。Paraformer 是非自回归模型(CIF predictor),所有 token 并行生成,不使用 KV-cache。vLLM 只加速自回归 LLM 解码。
-
-### Q: WebSocket 服务和 streaming_generate 有什么区别?
-
-| | WebSocket 服务 | streaming_generate |
-|---|---|---|
-| 分句 | VAD 自然端点 | 固定 720ms chunk |
-| 推理 | 每个 VAD 段整体解码 | 累积重编码全部音频 |
-| 准确率 | 更高 | 前 3s 较低 |
-| 场景 | 生产部署 | SDK 集成 |
-
-### Q: 流式推理前几秒输出为空?
-正常。模型需要 ~3 秒累积音频才能产生有意义输出,这是模型特性而非 vLLM 限制。
-
-### Q: 支持哪些音频格式?
-wav、mp3、flac 等主流格式,采样率自动转为 16kHz。
-
-### Q: 浏览器无法使用麦克风?
-Chrome 要求 HTTPS 或 localhost。远程服务器用 SSH 端口转发:`ssh -L 10095:localhost:10095 <server>`
-
-### Q: 多个并发连接会互相影响吗?
-不会。每个 WebSocket 连接有独立的 session(VAD/ASR 状态隔离)。vLLM 内部会自动调度。
-
----
+**Q: GLM-ASR 能用动态 VAD 吗?**
+不建议。GLM-ASR 不支持长音频段推理(>15s 质量严重下降),应使用固定阈值 VAD。
-## 附录:DynamicStreamingVAD
+**Q: SPK 对性能的影响?**
+RTFx 从 102 降至 46(说话人聚类开销),CER 不受影响。默认关闭。
-`funasr.models.fsmn_vad_streaming.dynamic_vad.DynamicStreamingVAD` 是通用的动态阈值流式 VAD 封装,
-在 fsmn-vad 基础上根据当前语音段的累积时长动态调整静音切分阈值。
+**Q: 流式和离线 VAD 为什么配置不同?**
+离线音频已完整,可保留更长段减少边界损失;流式需要快速响应,阈值收紧更快。
-### 设计动机
-
-fsmn-vad 默认使用固定静音阈值(800ms)。实际场景中:
-- 短句(如"好的")需要等更长的静音才切,否则会把一句话切碎
-- 长段(如会议发言 30s+)需要更快切分,否则 ASR 输入过长导致质量下降
-
-### 用法
-
-```python
-from funasr import AutoModel
-from funasr.models.fsmn_vad_streaming.dynamic_vad import DynamicStreamingVAD
-
-vad_model = AutoModel(model="fsmn-vad", device="cuda:0")
-
-# 使用默认阈值配置
-vad = DynamicStreamingVAD(vad_model)
-
-# 或自定义阈值
-vad = DynamicStreamingVAD(
- vad_model,
- silence_schedule=[
- (3000, 1500), # 累积 <=3s: 等 1.5s 静音
- (10000, 800), # 累积 3-10s: 等 0.8s
- (float('inf'), 300), # 累积 >10s: 等 0.3s
- ],
- speech_noise_thres=0.5,
-)
-```
-
-#### 流式调用
-
-```python
-import torch
-
-for audio_chunk in audio_stream: # 实时音频流
- segments = vad.feed(torch.from_numpy(audio_chunk).float())
- for seg in segments:
- print(f"Speech: {seg[0]}-{seg[1]}ms")
-
-# 结束时
-final_segments = vad.finalize()
-```
-
-#### 非流式调用
-
-```python
-segments = vad.process(full_audio_tensor)
-for seg in segments:
- print(f"Speech: {seg[0]}-{seg[1]}ms")
-```
-
-### 默认阈值配置
-
-| 累积时长 | 静音阈值 | 说明 |
-|---------|---------|------|
-| ≤ 5s | 2.0s | 短句不切碎 |
-| 5-10s | 1.5s | 正常分句 |
-| 10-15s | 1.0s | 开始收紧 |
-| 15-30s | 0.8s | 较快切分 |
-| 30-45s | 0.4s | 防止过长 |
-| > 45s | 0.1s | 强制切分 |
-
-### 参数
-
-| 参数 | 默认值 | 说明 |
-|------|--------|------|
-| `vad_model` | - | FunASR AutoModel 加载的 fsmn-vad 实例 |
-| `chunk_size_ms` | 60 | VAD 内部处理 chunk 大小 |
-| `speech_noise_thres` | 0.5 | 语音/噪声判别阈值 |
-| `speech_to_sil_thres_ms` | 150 | 语音转静音基础时间 |
-| `silence_schedule` | 见上表 | 动态阈值配置 `[(上限ms, 静音ms), ...]` |
-| `sample_rate` | 16000 | 采样率 |
-
-### 属性
-
-| 属性 | 说明 |
-|------|------|
-| `vad.is_speaking` | 当前是否在语音状态中 |
-| `vad.current_duration_ms` | 当前段已累积时长 |
-| `vad.current_threshold_ms` | 当前使用的静音阈值 |
+**Q: 浏览器麦克风不可用?**
+Chrome 要求 HTTPS 或 localhost。远程用 `ssh -L 10095:localhost:10095 <server>`。