Nvidia Nemotron 3.5 Transcribe 发布：单卡运行、支持翻译与说话人识别的开源语音模型

Nvidia 发布了开源语音模型 Nemotron 3.5 Transcribe，该模型集成了转录、翻译和说话人识别功能，并支持通过文本指令进行灵活控制。它在多个基准测试中表现优异，包括 Hugging Face 的 Open ASR Leaderboard 和 Artificial Analysis 的比较，显示出在精度和效率上的优势。

该模型拥有 300 亿参数，但每次处理仅激活约 40 亿参数，使其能够在单个 Nvidia GPU 上高效运行，适用于从紧凑型 DGX Spark 到数据中心硬件的各种设备。在 RTX PRO 6000 Blackwell Server Edition 上，它能在不到三分钟内处理 100 小时的音频。此外，Nvidia 还发布了 Granary v2 数据集，包含约 84.4 万小时的语音数据，涵盖 48 种语言，并提供了用于构建数据集的工具。

尽管 Nemotron 3.5 Transcribe 在通用任务上表现出色，但在特定领域（如医疗）的微调仍需额外训练数据。例如，针对印度医生和医学生的录音进行微调后，错误率显著降低。然而，这种专业化也带来了一定的代价，如在通用英语语音上的错误率略有上升。Nvidia 建议在使用自定义版本时至少准备 100 条真实验证的录音进行测试。

事实：Nemotron 3.5 Transcribe 是一个开源语音模型，支持多种语言和任务，可在单卡 GPU 上运行。 推断：该模型适合需要高效、低成本语音处理的场景，尤其是那些对实时性要求不高的应用。 猜测：未来可能会有更多基于此模型的定制化解决方案出现，特别是在医疗和法律等专业领域。