Open-source speech recognition toolkit for training, inference, streaming ASR, VAD, punctuation, speaker diarization pipelines, and OpenAI-compatible/MCP serving.
Python asraudiochineseemotion-recognitionfunasrmcp-servermultilingual-asropenai-compatible-apiparaformerpunctuationpytorchreal-time-asrspeaker-diarizationspeech-recognitionspeech-to-textstreaming-asrtranscriptionvllmvoice-activity-detectionwhisper-alternative
docs: rewrite vllm_guide.md - unified structure, dynamic VAD only, stream/offline separation
游雁e46abebc88bd
diff --git a/docs/vllm_guide.md b/docs/vllm_guide.mdindex 6ca5f726c..30e616ab9 100644--- a/docs/vllm_guide.md+++ b/docs/vllm_guide.md@@ -1,17 +1,15 @@# FunASR vLLM 推理引擎指南-FunASR 集成 vLLM 高吞吐推理引擎,用于加速 LLM-based ASR 模型的自回归解码。支持离线批量推理、SDK 流式推理、生产级 WebSocket 实时服务三种模式。----## 目录1. [概述](#1-概述)2. [安装与环境](#2-安装与环境)-3. [离线批量推理](#3-离线批量推理)-4. [流式 SDK 推理](#4-流式-sdk-推理)-5. [实时 WebSocket 服务](#5-实时-websocket-服务)-6. [性能对比](#6-性能对比)+3. [离线推理](#3-离线推理)+4. [实时流式服务](#4-实时流式服务)+5. [动态 VAD](#5-动态-vad)+6. [Benchmark](#6-benchmark)7. [API 参考](#7-api-参考)8. [FAQ](#8-faq)@@ -19,93 +17,58 @@ FunASR 集成 vLLM 高吞吐推理引擎,用于加速 LLM-based ASR 模型的## 1. 概述-### 适用模型+FunASR 集成 vLLM 推理引擎,加速 LLM-based ASR 模型的自回归解码(PagedAttention + 连续批处理)。++### 支持模型-| 模型 | vLLM 支持 | 说明 |-|------|-----------|------|-| **FunASRNano** | ✓ | Qwen3-0.6B LLM,支持离线和流式 |-| **LLMASR** | ✓ | Whisper + Qwen/Vicuna/LLaMA |-| **GLMASR** | ✓ | GLM-ASR-Nano (RTFx 263, CER 12.92%) |-| **QwenAudioWarp** | ✓ | Qwen-Audio |-| Paraformer | ✗ | 非自回归模型(CIF predictor),无 LLM 解码 |-| SenseVoice | ✗ | Whisper-like encoder-decoder,非 LLM |-| Conformer/Transformer | ✗ | CTC/attention 解码,非 LLM |+| 模型 | 说明 | vLLM 加速 |+|------|------|-----------|+| **Fun-ASR-Nano** | Qwen3-0.6B,31语言+方言 | RTFx 371,CER 8.88% |+| **GLM-ASR-Nano** | Llama 2B,17语言 | RTFx 265,CER 12.93% |+| LLMASR | Whisper + Qwen/Vicuna | ✓ |+| Paraformer / SenseVoice | 非自回归模型 | ✗ 不适用 |### 架构```-┌────────────────────────────────────────────────────────┐-│ FunASR + vLLM │-├────────────────────────────────────────────────────────┤-│ │-│ Audio ──→ Frontend ──→ Audio Encoder ──→ Adaptor │-│ (fbank) (SenseVoice) (Transformer) │-│ │ │-│ ▼ │-│ Audio Embeddings │-│ │ │-│ Text Prompt ──→ Tokenize ──→ Embed ──→ [Concat] │-│ (hotwords/language/itn) │ │-│ ▼ │-│ ┌──────────────┐ │-│ │ vLLM Engine │ │-│ │ (Qwen3 etc) │ │-│ │ TP 并行加速 │ │-│ └──────┬───────┘ │-│ ▼ │-│ Generated Text │-│ │-│ (可选) CTC Forced Alignment ──→ 字级别时间戳 │-└────────────────────────────────────────────────────────┘+Audio ──→ Frontend ──→ Encoder ──→ Adaptor ──→ Audio Embeddings+ │+Text Prompt ──→ Tokenize ──→ Embed ──────────→ [Concat] ──→ vLLM LLM ──→ Text+ │+ CTC Forced Alignment ──→ Timestamps```-### 三种使用模式--| 模式 | 入口 | 适用场景 |-|------|------|---------|-| [离线批量推理](#3-离线批量推理) | `AutoModelVLLM` / `FunASRNanoVLLM` | 大规模转写、批量处理 |-| [流式 SDK 推理](#4-流式-sdk-推理) | `FunASRNanoStreamingVLLM` | 实时字幕展示(SDK 集成) |-| [WebSocket 实时服务](#5-实时-websocket-服务) | `serve_realtime_ws.py` | 生产部署、多端接入 |+音频编码在 PyTorch 中完成,LLM 解码由 vLLM 加速。两者通过 `EmbedsPrompt` 连接。---## 2. 安装与环境-### 依赖-```bashpip install funasr>=1.3.0pip install vllm>=0.12.0-pip install safetensors tiktoken websockets regex+pip install safetensors tiktoken websockets regex fastapi uvicorn-# FunASR 开发模式安装(需要 auto_model_vllm)cd /path/to/FunASR && pip install -e .```-### 硬件要求--| 配置 | 最低要求 | 推荐 |-|------|---------|------|-| GPU 显存 | 8GB | 16GB+ |-| CUDA | 11.8 | 12.0+ |-| GPU 数量 | 1 | 2+(tensor parallel) |+**硬件要求**:GPU ≥ 8GB VRAM,CUDA ≥ 11.8。推荐 16GB+。----## 3. 离线批量推理+## 3. 离线推理-适用于大规模音频转写、离线批量处理。vLLM 的批处理能力在此场景优势最大。+适用于批量转写、文件处理。音频先经动态 VAD 切分为段,再 batch 送入 vLLM 推理。-### 通用接口(推荐)+### 使用方式```pythonfrom funasr.auto.auto_model_vllm import AutoModelVLLMmodel = AutoModelVLLM(model="FunAudioLLM/Fun-ASR-Nano-2512",- hub="ms", # 或 "hf"- tensor_parallel_size=2, # 多卡并行- gpu_memory_utilization=0.8,+ tensor_parallel_size=1,+ gpu_memory_utilization=0.5,)results = model.generate(@@ -115,328 +78,176 @@ results = model.generate()for r in results:print(f"[{r['key']}] {r['text']}")- # 字级别时间戳(CTC forced alignment)if "timestamps" in r:for ts in r["timestamps"]:print(f" {ts['token']} [{ts['start_time']:.2f}-{ts['end_time']:.2f}s]")```-> Fun-ASR-Nano 自动输出字级别时间戳(CTC forced alignment),无需额外配置。+**输出包含**:识别文本 + 字级别时间戳(CTC forced alignment,自动输出)。-### 直接接口+### GLM-ASR```python-from funasr.models.fun_asr_nano.inference_vllm import FunASRNanoVLLM+from funasr.models.glm_asr.inference_vllm import GLMASRVLLMEngine-engine = FunASRNanoVLLM.from_pretrained(- model="FunAudioLLM/Fun-ASR-Nano-2512",- tensor_parallel_size=4,-)--results = engine.generate(- inputs="wav.scp", # 支持 scp/jsonl/文件列表- hotwords=["开放时间"],- language="中文",- max_new_tokens=512,-)+engine = GLMASRVLLMEngine.from_pretrained("zai-org/GLM-ASR-Nano-2512")+results = engine.generate(inputs=["audio.wav"])```-### 命令行+### 离线动态 VAD 配置-```bash-cd examples/industrial_data_pretraining/fun_asr_nano+离线场景下,动态 VAD 倾向保留较长段(≤60s),减少边界切割损失:++| 累积语音时长 | 静音阈值 | 说明 |+|------------|---------|------|+| ≤ 10s | 2000ms | 充分等待,短句不切碎 |+| 10-20s | 1000ms | 逐步收紧 |+| 20-30s | 800ms | |+| 30-40s | 600ms | |+| 40-50s | 400ms | |+| 50-60s | 200ms | 接近上限 |+| > 60s | 100ms | 强制切分 |-# 单文件-python demo_vllm.py --input audio.wav --language 中文+> GLM-ASR 不支持长音频段推理(>15s 质量下降),应配合传统 VAD(固定阈值 800ms)使用。-# 批量 + 多卡-python demo_vllm.py --input wav.scp --tensor-parallel-size 4 --batch-size 32+### 命令行-# 带热词 + 保存结果-python demo_vllm.py --input audio.wav --hotwords 张三 北京 --output results.jsonl+```bash+python benchmark_vllm.py \+ --model FunAudioLLM/Fun-ASR-Nano-2512 \+ --audio-dir /path/to/audio \+ --label-json /path/to/labels.json```----## 4. 流式 SDK 推理+## 4. 实时流式服务-将音频按 720ms chunk 逐步处理,输出逐步稳定的识别结果。适用于 SDK 集成实时字幕场景。+两种服务模式:WebSocket 流式(逐帧推送)和 HTTP 非流式(文件上传)。-### 设计原理+### 4.1 WebSocket 流式服务(serve_realtime_ws.py)-```-音频流(720ms chunks)- │ 累积重编码(每个 chunk 包含从头到当前的全部音频)- ▼-┌──────────────────────┐-│ Stage 1: 前 10 chunk │ ← 无 prev_text,批量生成-│ 找到稳定输出 │-└──────────┬───────────┘- ▼-┌──────────────────────┐-│ Stage 2: 后续 chunk │ ← 用稳定输出作 prev_text-└──────────┬───────────┘- ▼-每个 chunk: [fixed 区域(确认)] + [8字 unfixed(可能变)]-```--### 用法--```python-from funasr.models.fun_asr_nano.inference_vllm_streaming import FunASRNanoStreamingVLLM+音频实时到达,VAD 检测端点后逐段解码,partial 预览持续更新。-engine = FunASRNanoStreamingVLLM.from_pretrained(- model="FunAudioLLM/Fun-ASR-Nano-2512",- chunk_ms=720,- rollback_chars=8,-)--for result in engine.streaming_generate("audio.wav", language="中文"):- if result["is_final"]:- print(f"最终: {result['text']}")- else:- print(f"[{result['audio_duration_ms']:.0f}ms] 确认: {result['fixed_text']}")+```bash+CUDA_VISIBLE_DEVICES=0 python serve_realtime_ws.py --port 10095 --language 中文```-### 输出特性--| 累积音频 | 输出质量 |-|---------|---------|-| < 1.5s | 空或噪声 |-| 1.5-3.0s | 部分正确 |-| > 3.0s | 准确输出 |--> Note: `repetition_penalty=1.3` 内部硬编码,防止短 chunk 重复退化。-------## 5. 实时 WebSocket 服务+**流式动态 VAD 配置**(与离线不同,更积极切分以降低延迟):-生产级实时语音识别服务,集成 VAD 分句 + vLLM 推理 + 说话人分离 + 热词。+| 累积语音时长 | 静音阈值 | 说明 |+|------------|---------|------|+| ≤ 5s | 2000ms | 等用户说完一句 |+| 5-10s | 1500ms | |+| 10-15s | 1000ms | |+| 15-30s | 800ms | |+| 30-45s | 400ms | 快速切分 |+| > 45s | 100ms | 强制切分 |-### 推理逻辑--**核心设计:基于 VAD 端点逐段解码(非固定 chunk)**+**协议**:```-音频流 ──→ StreamingVAD (60ms) ──→ 检测到端点 ──→ vLLM 解码整段- │ │- │ ▼- │ locked_sentences(锁定)- │ │- │ ▼- │ SPK assign(说话人分配)- │- └──→ 未结束 ──→ vLLM partial decode(每0.48s)- │- ▼- partial text(预览,会覆盖)+Client → Server: "START" | "HOTWORDS:词1,词2" | "LANGUAGE:中文" | [bytes] | "STOP"+Server → Client: {"sentences":[...], "partial":"...", "is_final":false}```-**两条推理路径:**--| 路径 | 触发条件 | 输出 |-|------|---------|------|-| 确认段解码 | VAD 检测到静音端点 | 锁定到 sentences,永不改变 |-| Partial 预览 | 每 0.48s + 新音频 ≥ 960ms | 临时文字,随时覆盖 |+### 4.2 HTTP/OpenAI 统一服务(serve_vllm.py)-**动态 VAD 阈值:**+集成 VAD + vLLM + SPK + 时间戳,提供三种 API:-| 累积时长 | 静音阈值 | 效果 |-|---------|---------|------|-| ≤ 5s | 2.0s | 短句不切碎 |-| 5-10s | 1.5s | 正常分句 |-| 10-15s | 1.0s | 开始收紧 |-| 15-30s | 0.8s | 较快切分 |-| 30-45s | 0.4s | 防止过长 |-| > 45s | 0.1s | 强制切分 |+```bash+CUDA_VISIBLE_DEVICES=0 python serve_vllm.py --port 8899+```-**STOP 最终处理:**-1. 剩余音频喂给 VAD(is_final=True)-2. 强制结束当前在说话的段-3. 全局 SPK 重聚类(修正说话人 ID)-4. 返回 `is_final: true`+| 接口 | 路径 | 功能 |+|------|------|------|+| HTTP REST | `POST /asr` | 文件上传 → text + timestamps + speaker |+| OpenAI API | `POST /v1/audio/transcriptions` | Whisper 兼容 |+| WebSocket | `ws://host:port/ws` | 流式音频 |-### 部署+**示例**:```bash-cd examples/industrial_data_pretraining/fun_asr_nano+# 基本识别+curl -X POST http://localhost:8899/asr -F "[email protected]" -F "language=中文"-# 单卡-CUDA_VISIBLE_DEVICES=0 python serve_realtime_ws.py --port 10095 --language 中文--# 多卡-CUDA_VISIBLE_DEVICES=0,1 python serve_realtime_ws.py \- --port 10095 --tensor-parallel-size 2 --language 中文+# 开启说话人分离(默认关闭)+curl -X POST http://localhost:8899/asr -F "[email protected]" -F "spk=true"-# 完整参数-python serve_realtime_ws.py \- --port 10095 \- --model FunAudioLLM/Fun-ASR-Nano-2512 \- --hub ms \- --device cuda:0 \- --decode-interval 0.48 \- --hotword-file 热词列表 \- --language 中文 \- --dtype bf16 \- --tensor-parallel-size 1 \- --gpu-memory-utilization 0.8 \- --max-model-len 2048+# OpenAI 兼容(含字级别时间戳)+curl -X POST http://localhost:8899/v1/audio/transcriptions \+ -F "[email protected]" -F "model=fun-asr-nano" -F "response_format=verbose_json"```-### 客户端+> SPK 默认关闭。开启后 RTFx 从 102 降至 46(聚类开销),CER 不受影响。-| 客户端 | 用法 |-|--------|------|-| 浏览器 | 打开 `client_mic.html`(麦克风/文件/热词/说话人) |-| Python CLI | `python client_python.py --server ws://localhost:10095 --mic` |-| 测试脚本 | `python client_test.py --server ws://localhost:10095 --file audio.wav` |+----远程访问需 SSH 端口转发:`ssh -L 10095:localhost:10095 <server>`+## 5. 动态 VAD-### WebSocket 协议+FunASR 的 fsmn-vad 默认启用动态静音阈值:根据当前语音段累积时长自动调整切分灵敏度。-**客户端 → 服务端:**+### 离线 vs 流式的策略差异-| 消息 | 格式 | 说明 |+| 场景 | 策略 | 目标 ||------|------|------|-| 开始会话 | `"START"` | 初始化 session |-| 设置热词 | `"HOTWORDS:词1,词2"` | 可选 |-| 设置语种 | `"LANGUAGE:中文"` | 可选 |-| 音频数据 | `bytes` | PCM16, 16kHz, mono |-| 结束会话 | `"STOP"` | 触发最终解码 |--**服务端 → 客户端:**--```json-// 事件-{"event": "started"}-{"event": "hotwords_set", "hotwords": ["词1", "词2"]}-{"event": "language_set", "language": "中文"}-{"event": "stopped"}--// 实时结果-{- "sentences": [{"text": "已确认", "start": 1700, "end": 5500, "spk": 0}],- "partial": "正在说...",- "partial_start_ms": 5800,- "duration_ms": 7200,- "is_final": false-}--// 最终结果-{- "sentences": [{"text": "...", "start": ..., "end": ..., "spk": ...}, ...],- "partial": "",- "partial_start_ms": 0,- "duration_ms": 10000,- "is_final": true-}-```+| **离线** | 宽松阈值(2000→100ms) | 保留长段,减少边界损失 |+| **流式** | 中等阈值(2000→100ms,但更快收紧) | 平衡延迟和完整性 |-**交互时序:**+两者都是动态的,区别在于收紧速度。离线场景音频已完整到达,容忍更长段;流式需要更快给出结果。-```-Client Server- │── "START" ─────────────────→│- │←─ {"event":"started"} ──────│- │── "HOTWORDS:张三,北京" ────→│- │←─ {"event":"hotwords_set"} ─│- │── "LANGUAGE:中文" ─────────→│- │←─ {"event":"language_set"} ─│- │── [audio bytes] ───────────→│- │←─ {sentences,partial} ──────│ (实时推送)- │── [audio bytes] ───────────→│- │←─ {sentences,partial} ──────│- │── "STOP" ──────────────────→│- │←─ {sentences,is_final:true} │ (最终结果)- │←─ {"event":"stopped"} ──────│+### 自定义配置++```python+# 通过 AutoModel 调用时传入+model.generate(input="audio.wav", silence_schedule=[+ (5000, 1500),+ (15000, 800),+ (30000, 400),+ (float('inf'), 200),+])```-### 热词文件+### DynamicStreamingVAD(流式 wrapper)-默认文件名 `热词列表`(`--hotword-file` 指定),一行一个词:+```python+from funasr.models.fsmn_vad_streaming.dynamic_vad import DynamicStreamingVAD-```-张三-李四-北京大学+vad = DynamicStreamingVAD(vad_model)+for chunk in audio_stream:+ segments = vad.feed(chunk)+ for seg in segments:+ print(f"Speech: {seg[0]}-{seg[1]}ms")+final = vad.finalize()```-也可通过 WebSocket 动态设置:`HOTWORDS:词1,词2,词3`+**属性**:`vad.is_speaking`、`vad.current_duration_ms`、`vad.current_threshold_ms`----## 6. 性能对比+## 6. Benchmark-### Benchmark 结果(184 files, 11541s audio, 1947 VAD segments)+**测试集**:184 文件,11541 秒音频,1947 VAD 段(固定阈值)/ 1120 段(动态阈值)。| 模型 | 引擎 | VAD | RTFx | CER | 备注 ||------|------|-----|------|-----|------|-| Fun-ASR-Nano | PyTorch | fixed | 17.1 | 8.90% | 基准 |-| Fun-ASR-Nano | PyTorch | dynamic | 21.2 | 8.06% | |-| Fun-ASR-Nano | **vLLM batch** | fixed | **371** | 8.88% | 21.7x 加速 |-| Fun-ASR-Nano | **vLLM batch** | dynamic | **340** | **8.20%** | 19.9x 加速 |-| Fun-ASR-Nano | **Service (no SPK)** | dynamic | **102** | 8.14% | 含 VAD + 时间戳 |-| Fun-ASR-Nano | **Service (with SPK)** | dynamic | **46** | 8.19% | 含 VAD + 时间戳 + 说话人 |-| Fun-ASR-Nano | yuekaizhang vLLM | fixed | 273 | 17.07% | 第三方实现 |-| GLM-ASR-Nano | **vLLM batch** | fixed | **265** | 12.93% | 7.6x 加速 |-| GLM-ASR-Nano | vLLM batch | dynamic | - | - | 不支持长音频推理 |--**关键结论:**-- vLLM 与 PyTorch CER 完全一致(Fun-ASR-Nano 差 < 0.02%)-- 新动态 VAD 对 Fun-ASR-Nano 有效(CER 8.90% → 8.20%),不适用于 GLM-ASR(不支持长音频)-- Fun-ASR-Nano vLLM batch 加速 21.7x,Service 模式加速 6x-- SPK 默认关闭(RTFx 102),开启后 RTFx 46(增加说话人聚类开销)-- 比第三方 yuekaizhang/Fun-ASR-vllm 快 36%,且 CER 优 8%--### 统一 vLLM 服务(serve_vllm.py)--集成动态 VAD + SPK + 时间戳 + vLLM 推理的统一服务,提供三种接口:--```bash-CUDA_VISIBLE_DEVICES=0 python examples/industrial_data_pretraining/fun_asr_nano/serve_vllm.py --port 8899-```--| 接口 | 路径 | 功能 |-|------|------|------|-| HTTP REST | `POST /asr` | 文件上传,返回 text + segments + timestamps + speaker |-| OpenAI API | `POST /v1/audio/transcriptions` | Whisper 兼容,支持 verbose_json |-| WebSocket | `ws://host:port/ws` | 流式音频,实时返回结果 |--**HTTP REST 示例:**-```bash-curl -X POST http://localhost:8899/asr -F "[email protected]" -F "language=中文" -F "spk=true" -F "timestamp=true"-```--**OpenAI API 示例:**-```bash-curl -X POST http://localhost:8899/v1/audio/transcriptions -F "[email protected]" -F "model=fun-asr-nano" -F "response_format=verbose_json"-```--**性能(227s 音频):** RTF=0.015,处理时间 3.4s--### 复现 Benchmark+| Fun-ASR-Nano | PyTorch | fixed | 17 | 8.90% | 基准 |+| Fun-ASR-Nano | PyTorch | dynamic | 21 | 8.06% | |+| Fun-ASR-Nano | **vLLM batch** | fixed | **371** | 8.88% | 21.7x |+| Fun-ASR-Nano | **vLLM batch** | dynamic | **340** | **8.20%** | 19.9x |+| Fun-ASR-Nano | **Service (no SPK)** | dynamic | **102** | 8.14% | |+| Fun-ASR-Nano | **Service (+SPK)** | dynamic | **46** | 8.19% | SPK 默认关闭 |+| Fun-ASR-Nano | yuekaizhang vLLM | fixed | 273 | 17.07% | 第三方 |+| GLM-ASR-Nano | **vLLM batch** | fixed | **265** | 12.93% | 7.6x |+| GLM-ASR-Nano | vLLM batch | dynamic | — | — | 不支持长音频推理 |++**复现**:```bash-# Fun-ASR-NanoCUDA_VISIBLE_DEVICES=0 python benchmark_vllm.py \--model FunAudioLLM/Fun-ASR-Nano-2512 \--audio-dir /path/to/benchmark_audio \--label-json /path/to/benchmark_testset.json--# GLM-ASR-Nano-CUDA_VISIBLE_DEVICES=0 python benchmark_vllm.py \- --model zai-org/GLM-ASR-Nano-2512 \- --audio-dir /path/to/benchmark_audio \- --label-json /path/to/benchmark_testset.json--# Quick test (first 20 files, skip PyTorch)-CUDA_VISIBLE_DEVICES=0 python benchmark_vllm.py \- --model FunAudioLLM/Fun-ASR-Nano-2512 \- --max-files 20 --skip-pytorch \- --audio-dir /path/to/benchmark_audio \- --label-json /path/to/benchmark_testset.json```---@@ -445,202 +256,61 @@ CUDA_VISIBLE_DEVICES=0 python benchmark_vllm.py \### AutoModelVLLM-```python-from funasr.auto.auto_model_vllm import AutoModelVLLM-```--通用入口,自动检测模型类型并选择对应的 vLLM 实现。-| 参数 | 默认值 | 说明 ||------|--------|------|-| `model` | - | 模型名(hub)或本地路径 |+| `model` | — | 模型名或路径 || `hub` | `"ms"` | `"ms"` / `"hf"` |-| `device` | `"cuda:0"` | 音频编码器设备 |-| `dtype` | `"bf16"` | 精度 |-| `tensor_parallel_size` | `1` | vLLM GPU 并行数 |+| `tensor_parallel_size` | `1` | GPU 并行数 || `gpu_memory_utilization` | `0.8` | KV Cache 显存比例 || `max_model_len` | `4096` | 最大序列长度 |-### AutoModelVLLM.generate()+### generate()-| 参数 | 默认值 | 说明 |-|------|--------|------|-| `inputs` | - | 音频路径/列表/numpy/tensor |-| `language` | `None` | 语种提示 |-| `hotwords` | `None` | 热词列表 |-| `itn` | `True` | 逆文本正则化 |-| `max_new_tokens` | `512` | 最大生成 token |-| `temperature` | `0.0` | 采样温度 |-| `repetition_penalty` | `1.0` | 重复惩罚 |--**返回**: `[{"key": str, "text": str, "timestamps": [...]}]`--### FunASRNanoStreamingVLLM.from_pretrained()+| 参数 | 说明 |+|------|------|+| `inputs` | 音频路径列表 / numpy / tensor |+| `language` | 语种("中文"/"English"/...) |+| `hotwords` | 热词列表 |+| `max_new_tokens` | 最大生成 token(默认 500) |-| 参数 | 默认值 | 说明 |-|------|--------|------|-| `model` | `"FunAudioLLM/Fun-ASR-Nano-2512"` | 模型名或路径 |-| `hub` | `"ms"` | 模型来源 |-| `device` | `"cuda:0"` | 设备 |-| `dtype` | `"bf16"` | 精度 |-| `tensor_parallel_size` | `1` | GPU 并行数 |-| `gpu_memory_utilization` | `0.8` | 显存比例 |-| `max_model_len` | `2048` | 序列长度 |-| `chunk_ms` | `720` | chunk 时长 |-| `rollback_chars` | `8` | 回退字符数 |+**返回**:`[{"key": str, "text": str, "timestamps": [...]}]`-### streaming_generate()+### serve_vllm.py 参数| 参数 | 默认值 | 说明 ||------|--------|------|-| `audio_input` | - | 音频路径/数据 |-| `chunk_ms` | `720` | chunk 大小 |-| `rollback_chars` | `8` | 回退字符 |-| `hotwords` | `None` | 热词 |-| `language` | `None` | 语种 |-| `max_new_tokens` | `200` | 每 chunk 最大 token |-| `temperature` | `0.0` | 采样温度 |--**Yields**: `{"text", "fixed_text", "is_final", "chunk_idx", "audio_duration_ms"}`--> `repetition_penalty=1.3` 内部硬编码。+| `--port` | 8000 | 服务端口 |+| `--model` | Fun-ASR-Nano-2512 | 模型 |+| `--gpu-memory-utilization` | 0.5 | 显存比例 |+| `--max-model-len` | 4096 | 序列长度 |### serve_realtime_ws.py 参数| 参数 | 默认值 | 说明 ||------|--------|------|-| `--port` | `10095` | WebSocket 端口 |-| `--model` | `FunAudioLLM/Fun-ASR-Nano-2512` | 模型 |-| `--hub` | `ms` | 来源 |-| `--device` | `cuda:0` | 设备 |-| `--decode-interval` | `0.48` | partial 解码间隔(秒) |-| `--hotword-file` | `热词列表` | 热词文件 |-| `--language` | `None` | 语种 |-| `--dtype` | `bf16` | 精度 |-| `--tensor-parallel-size` | `1` | GPU 并行 |-| `--gpu-memory-utilization` | `0.8` | 显存比例 |-| `--max-model-len` | `2048` | 序列长度 |+| `--port` | 10095 | WebSocket 端口 |+| `--decode-interval` | 0.48 | partial 解码间隔 |+| `--hotword-file` | 热词列表 | 一行一词 |+| `--language` | None | 语种 |---## 8. FAQ-### Q: 首次启动为什么慢?-vLLM 需要初始化 KV Cache 和 CUDA Graph warmup,约 60-90 秒。后续推理即时响应。+**Q: vLLM 首次启动慢?**+KV Cache 初始化 + CUDA Graph warmup 约 60-90 秒,之后即时推理。-### Q: CUDA OOM 怎么办?-- 减小 `gpu_memory_utilization`(如 0.6)-- 增加 `tensor_parallel_size` 分摊到多卡-- 减小 `max_model_len`+**Q: CUDA OOM?**+减小 `gpu_memory_utilization`,增加 `tensor_parallel_size`,或减小 `max_model_len`。-### Q: Paraformer 能用 vLLM 吗?-不能。Paraformer 是非自回归模型(CIF predictor),所有 token 并行生成,不使用 KV-cache。vLLM 只加速自回归 LLM 解码。--### Q: WebSocket 服务和 streaming_generate 有什么区别?--| | WebSocket 服务 | streaming_generate |-|---|---|---|-| 分句 | VAD 自然端点 | 固定 720ms chunk |-| 推理 | 每个 VAD 段整体解码 | 累积重编码全部音频 |-| 准确率 | 更高 | 前 3s 较低 |-| 场景 | 生产部署 | SDK 集成 |--### Q: 流式推理前几秒输出为空?-正常。模型需要 ~3 秒累积音频才能产生有意义输出,这是模型特性而非 vLLM 限制。--### Q: 支持哪些音频格式?-wav、mp3、flac 等主流格式,采样率自动转为 16kHz。--### Q: 浏览器无法使用麦克风?-Chrome 要求 HTTPS 或 localhost。远程服务器用 SSH 端口转发:`ssh -L 10095:localhost:10095 <server>`--### Q: 多个并发连接会互相影响吗?-不会。每个 WebSocket 连接有独立的 session(VAD/ASR 状态隔离)。vLLM 内部会自动调度。-----+**Q: GLM-ASR 能用动态 VAD 吗?**+不建议。GLM-ASR 不支持长音频段推理(>15s 质量严重下降),应使用固定阈值 VAD。-## 附录:DynamicStreamingVAD+**Q: SPK 对性能的影响?**+RTFx 从 102 降至 46(说话人聚类开销),CER 不受影响。默认关闭。-`funasr.models.fsmn_vad_streaming.dynamic_vad.DynamicStreamingVAD` 是通用的动态阈值流式 VAD 封装,-在 fsmn-vad 基础上根据当前语音段的累积时长动态调整静音切分阈值。+**Q: 流式和离线 VAD 为什么配置不同?**+离线音频已完整,可保留更长段减少边界损失;流式需要快速响应,阈值收紧更快。-### 设计动机--fsmn-vad 默认使用固定静音阈值(800ms)。实际场景中:-- 短句(如"好的")需要等更长的静音才切,否则会把一句话切碎-- 长段(如会议发言 30s+)需要更快切分,否则 ASR 输入过长导致质量下降--### 用法--```python-from funasr import AutoModel-from funasr.models.fsmn_vad_streaming.dynamic_vad import DynamicStreamingVAD--vad_model = AutoModel(model="fsmn-vad", device="cuda:0")--# 使用默认阈值配置-vad = DynamicStreamingVAD(vad_model)--# 或自定义阈值-vad = DynamicStreamingVAD(- vad_model,- silence_schedule=[- (3000, 1500), # 累积 <=3s: 等 1.5s 静音- (10000, 800), # 累积 3-10s: 等 0.8s- (float('inf'), 300), # 累积 >10s: 等 0.3s- ],- speech_noise_thres=0.5,-)-```--#### 流式调用--```python-import torch--for audio_chunk in audio_stream: # 实时音频流- segments = vad.feed(torch.from_numpy(audio_chunk).float())- for seg in segments:- print(f"Speech: {seg[0]}-{seg[1]}ms")--# 结束时-final_segments = vad.finalize()-```--#### 非流式调用--```python-segments = vad.process(full_audio_tensor)-for seg in segments:- print(f"Speech: {seg[0]}-{seg[1]}ms")-```--### 默认阈值配置--| 累积时长 | 静音阈值 | 说明 |-|---------|---------|------|-| ≤ 5s | 2.0s | 短句不切碎 |-| 5-10s | 1.5s | 正常分句 |-| 10-15s | 1.0s | 开始收紧 |-| 15-30s | 0.8s | 较快切分 |-| 30-45s | 0.4s | 防止过长 |-| > 45s | 0.1s | 强制切分 |--### 参数--| 参数 | 默认值 | 说明 |-|------|--------|------|-| `vad_model` | - | FunASR AutoModel 加载的 fsmn-vad 实例 |-| `chunk_size_ms` | 60 | VAD 内部处理 chunk 大小 |-| `speech_noise_thres` | 0.5 | 语音/噪声判别阈值 |-| `speech_to_sil_thres_ms` | 150 | 语音转静音基础时间 |-| `silence_schedule` | 见上表 | 动态阈值配置 `[(上限ms, 静音ms), ...]` |-| `sample_rate` | 16000 | 采样率 |--### 属性--| 属性 | 说明 |-|------|------|-| `vad.is_speaking` | 当前是否在语音状态中 |-| `vad.current_duration_ms` | 当前段已累积时长 |-| `vad.current_threshold_ms` | 当前使用的静音阈值 |+**Q: 浏览器麦克风不可用?**+Chrome 要求 HTTPS 或 localhost。远程用 `ssh -L 10095:localhost:10095 <server>`。