跳到正文
原文
Hugging Face Blog·· 3 小时前精选AI 评分82

NVIDIA Nemotron 3.5 Transcribe 发布并开源 Granary v2 数据管线

NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

AI 导读

NVIDIA 在 Hugging Face 和 ModelScope 发布了 Nemotron 3.5 Transcribe 开源权重模型及配套的 Granary v2 数据管线。该模型集成了转录、说话人归属(diarization)、翻译和音频问答功能,支持 40 种语言转录和 31 种语言英译,单次处理时长可达一小时,并在 Hugging Face Open ASR Leaderboard 上以 5.33% 的平均 WER 位居开源模型榜首。

模型采用混合 Mamba–Transformer 专家架构,30B 参数中仅约 4B 活跃参数即可达到 2.8% AA-WER 的精度,处于准确率与活跃参数的帕累托前沿。Granary v2 公开了包含 463,062 小时数据的清洗管线,通过 NeMo Curator 生成三种不同格式的转录目标。在 Eka Care 的医疗场景测试中,结合提示词优化与 LoRA 微调,将未见说话人的字错率(WER)降低了 45.8%,证明了该方案在特定领域的泛化能力。

事实层面,该模型已支持在 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上运行,且可通过 vLLM 部署。推断层面,这种“预训练 + 提示词 + 轻量微调”的组合策略可能降低企业级语音应用的门槛,特别是对于需要处理专业术语或口音的场景。猜测层面,虽然文章展示了医疗领域的成功,但通用场景下的表现是否同样稳健仍需更多第三方验证,且目前主要针对录音而非实时流媒体。

推荐理由

Granary v2 的清洗管线与医疗微调案例揭示了从数据构造到 LoRA 适配的完整闭环,为垂直领域 ASR 落地提供了可复现的工程路径。

来源:Hugging Face Blog · huggingface.co