vLLM 推理引擎

概述

音频 frontend、encoder、adaptor 和可选 CTC 时间戳解码器仍在 PyTorch 中运行；LLM 解码部分通过 prompt embedding 交给 vLLM，获得 PagedAttention、连续批处理和 tensor parallel 多卡并行能力。

适用模型

三种入口

安装环境

pip install "funasr>=1.3.0"
pip install "vllm>=0.12.0"
pip install safetensors tiktoken websockets regex

# 如果使用源码树中的 AutoModelVLLM
cd /path/to/FunASR
pip install -e .

首次运行时，FunASR 会从 model.pt 提取 LLM 权重到 vLLM 兼容目录，例如 Qwen3-0.6B-vllm；后续启动会复用已准备好的权重。

离线 SDK 推理

推荐通用接口

from funasr.auto.auto_model_vllm import AutoModelVLLM

model = AutoModelVLLM(
    model="FunAudioLLM/Fun-ASR-Nano-2512",
    hub="ms",                    # 也可以使用 "hf"
    tensor_parallel_size=2,
    gpu_memory_utilization=0.8,
)

results = model.generate(
    ["audio1.wav", "audio2.wav"],
    language="中文",
    hotwords=["张三", "北京"],
)
for item in results:
    print(f"[{item['key']}] {item['text']}")

Fun-ASR-Nano 直接接口

from funasr.models.fun_asr_nano.inference_vllm import FunASRNanoVLLM

engine = FunASRNanoVLLM.from_pretrained(
    model="FunAudioLLM/Fun-ASR-Nano-2512",
    tensor_parallel_size=4,
)

results = engine.generate(
    inputs="wav.scp",
    language="中文",
    hotwords=["开放时间"],
    max_new_tokens=512,
)

命令行

cd examples/industrial_data_pretraining/fun_asr_nano

# 单文件
python demo_vllm.py --input audio.wav --language 中文

# 批量 + 多卡 tensor parallel
python demo_vllm.py --input wav.scp --tensor-parallel-size 4 --batch-size 32

# 热词 + JSONL 输出
python demo_vllm.py --input audio.wav --hotwords 张三 北京 --output results.jsonl

流式 SDK 推理

FunASRNanoStreamingVLLM 将音频切成 720 ms chunk，对累积音频重编码，把各 chunk prompt 批量送入 vLLM，并返回 fixed/unfixed 文本区域。适合 Python 应用做实时字幕或增量展示。

from funasr.models.fun_asr_nano.inference_vllm_streaming import FunASRNanoStreamingVLLM

engine = FunASRNanoStreamingVLLM.from_pretrained(
    model="FunAudioLLM/Fun-ASR-Nano-2512",
    chunk_ms=720,
    rollback_chars=8,
)

for result in engine.streaming_generate("audio.wav", language="中文"):
    if result["is_final"]:
        print(f"最终: {result['text']}")
    else:
        print(f"[{result['audio_duration_ms']:.0f} ms] 确认: {result['fixed_text']}")

WebSocket 实时服务

实时服务集成 streaming VAD、vLLM 分段解码、partial 预览、幻觉重复清理、热词、语种提示和说话人分离。

启动服务

cd examples/industrial_data_pretraining/fun_asr_nano

# 单卡
CUDA_VISIBLE_DEVICES=0 python serve_realtime_ws.py --port 10095 --language 中文

# 多卡 tensor parallel
CUDA_VISIBLE_DEVICES=0,1 python serve_realtime_ws.py \
    --port 10095 \
    --tensor-parallel-size 2 \
    --language 中文

# 完整参数示例
python serve_realtime_ws.py \
    --port 10095 \
    --model FunAudioLLM/Fun-ASR-Nano-2512 \
    --hub ms \
    --device cuda:0 \
    --decode-interval 0.48 \
    --hotword-file 热词列表 \
    --language 中文 \
    --dtype bf16 \
    --tensor-parallel-size 1 \
    --gpu-memory-utilization 0.8 \
    --max-model-len 2048

客户端

远程 GPU 服务器访问前先做端口转发：ssh -L 10095:localhost:10095 <server>。

协议

客户端 -> 服务端:
  "START"                 初始化会话
  "HOTWORDS:词1,词2"      设置热词，可选
  "LANGUAGE:中文"          设置语种，可选
  [binary bytes]          PCM16 16 kHz 单声道音频
  "STOP"                  结束并触发最终解码

服务端 -> 客户端:
  {"event": "started"}
  {"event": "hotwords_set", "hotwords": ["词1", "词2"]}
  {"event": "language_set", "language": "中文"}
  {"sentences": [...], "partial": "...", "is_final": false}
  {"sentences": [...], "partial": "", "is_final": true}
  {"event": "stopped"}

推理逻辑

动态 VAD

动态 VAD 会根据当前语音段累计时长调整静音阈值：短句等待更长静音，避免切碎；长句更快切分，避免 ASR 输入过长。

流式封装默认阈值

fsmn-vad 原生默认阈值

# 默认 dynamic_silence=True
model.generate(input="audio.wav")

# 关闭动态静音阈值
model.generate(input="audio.wav", dynamic_silence=False)

# 自定义 schedule: (累计时长上限ms, 静音阈值ms)
model.generate(input="audio.wav", silence_schedule=[
    (5000, 1000),
    (15000, 500),
    (float("inf"), 200),
])

from funasr import AutoModel
from funasr.models.fsmn_vad_streaming.dynamic_vad import DynamicStreamingVAD

vad_model = AutoModel(model="fsmn-vad", device="cuda:0")
vad = DynamicStreamingVAD(vad_model)

for chunk in audio_stream:
    segments = vad.feed(chunk)
    for start_ms, end_ms in segments:
        print(f"Speech: {start_ms}-{end_ms} ms")

final_segments = vad.finalize()

性能

API 参考

AutoModelVLLM

generate()

返回格式：[{"key": str, "text": str, "timestamps": [...]}]。当模型包含可选 CTC decoder 和 tokenizer 时，会返回时间戳。

FAQ

Q: 首次启动为什么慢？

vLLM 需要初始化 KV cache 和 CUDA graph，FunASR 也可能需要从 model.pt 提取 LLM 权重，首次启动通常约 60-90 秒。

Q: CUDA OOM 怎么办？

降低 gpu_memory_utilization，降低 max_model_len，或增加 tensor_parallel_size。

Q: Paraformer 能用 vLLM 吗？

不能。Paraformer 是非自回归模型，不使用 vLLM KV-cache 解码。

Q: WebSocket 服务和 streaming_generate() 如何选择？

生产实时 ASR 推荐 WebSocket 服务，它基于 VAD 自然端点切分；SDK 集成或 chunk 级演示可使用 streaming_generate()。

Q: 浏览器无法访问远程服务器麦克风？

Chrome 要求 HTTPS 或 localhost。可先执行 ssh -L 10095:localhost:10095 <server>，再从本机 localhost 打开客户端。