Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe，整合转写、翻译与说话人识别

Nvidia 发布了一款开源语音识别模型，可接受文本指令，该公司称其在多项基准测试中领先。此次发布还包括一个大型训练数据集，以及用于将模型适配到专业领域的工具。

普通的转录文本无法告诉你谁说了什么。它也不会翻译任何内容，或者正确拼写专业术语。Nemotron 3.5 Transcribe 旨在通过单一模型处理所有这些任务，并且它还能回答关于录音内容的问题。Nvidia 表示，该模型可转录 40 种语言，其中 31 种可与英语互译，并能识别 13 种语言中的说话人。它可处理长达一小时的录音，最多可包含八位说话人。

用户通过简单的指令控制模型。根据提示词的不同，同一段会议录音可以变成带说话人标签的转录文本、英文翻译，或是对所做决定的摘要。用户还可以将药物名称等专业术语作为提示传入。模型只应在这些术语确实出现在录音中时才使用它们。

Streudiagramm von Artificial Analysis, das die Wortfehlerrate offener Spracherkennungsmodelle gegen ihre aktiven Parameter auf logarithmischer Skala aufträgt. Nemotron 3.5 Transcribe liegt bei rund vier Milliarden Parametern und knapp 3 Prozent Fehlerrate auf der Pareto-Linie, nur Voxtral Small mit rund 24 Milliarden Parametern erreicht einen ähnlich niedrigen Wert. — 在 Artificial Analysis 的对比中，Nemotron 3.5 Transcribe 的错误率仅略高于 Mistral 规模大得多的 Voxtral Small，而计算量仅为后者的一小部分。| 图片：Artificial Analysis

单 GPU 上接近顶级的准确率

该模型拥有 300 亿参数，但每个处理步骤中仅有约 40 亿参数处于激活状态。因此，它可在单块 Nvidia GPU 上运行，覆盖从紧凑型 DGX Spark 到数据中心硬件的各类设备。Nvidia 表示，在 RTX PRO 6000 Blackwell Server Edition 上以 NVFP4 精度运行时，该模型可在三分钟内处理 100 小时音频。

在 Hugging Face 的英语开放 ASR 排行榜上，Transcribe 以 5.33% 的平均词错误率在开放权重模型中排名第一。在 Artificial Analysis 的对比中，其得分为 2.81%。这接近最佳开放模型 Voxtral Small 的 2.77%，但 Transcribe 仅使用了约六分之一的激活参数。据 Nvidia 称，若干广泛使用的商业语音服务落后于它。

Ausschnitt aus dem Open ASR Leaderboard auf Hugging Face mit den zehn bestplatzierten Modellen. Nemotron 3.5 Transcribe führt mit einer durchschnittlichen Wortfehlerrate von 5,33 vor Qwen3-ASR-1.7B mit 5,4 und IBM Granite Speech mit 5,68. — 在 Hugging Face 的开放 ASR 排行榜上，Nemotron 3.5 Transcribe 略胜阿里巴巴和 IBM 的开放模型。| 图片：Hugging Face

领先幅度最大的是说话人识别。VoiceArena 在说话人有时会互相打断的对话上测试了 14 个系统，Transcribe 位列第一。它漏掉的词也最少，漏词率为 8.32%，而中位数约为 31%。在 David AI 衡量 21 种语言说话人归属的基准测试中，它取得了最低错误率，仅以微弱优势领先于 Nvidia 自家专为此任务设计的模型。

Balkendiagramm von VoiceArena zum Diarization-Bench v1 mit englischen Gesprächsaufnahmen inklusive überlappender Sprache. Nemotron 3.5 Transcribe erreicht mit 32,4 Prozent die niedrigste cpWER, gefolgt von Nvidias Multitalker Parakeet mit 34,2 Prozent und MOSS Transcribe Diarize mit 34,7 Prozent, Deepgram Nova-3 liegt mit 71,9 Prozent am Ende. — 在 VoiceArena 的对比中，Nemotron 3.5 Transcribe 在说话人互相打断的英语对话中辨别谁说了什么的能力最佳。数值越低越好。| 图片：VoiceArena

Balkendiagramm des Benchmarks DAI-ASR-I18N von David AI zur Diarisierungsfehlerrate. Nemotron 3.5 Transcribe liegt mit 18,26 auf Platz eins knapp vor Nemotron 3 Diarization mit 18,38, dahinter folgen MAI-Transcribe-2, Scribe v2 und weitere Modelle bis gpt-4o-transcribe-diarize mit 37,55. — 在 David AI 的基准测试中，Nemotron 3.5 Transcribe 在 21 种语言中识别当前说话人最为可靠。数值越低越好。| 图片：David AI

开放数据集让开发者能针对自己的领域进行训练

除了模型之外，Nvidia 还发布了 Granary v2 数据集。它包含约 844,000 小时的语音，涵盖 48 种语言，相比上一版本的约 643,000 小时、25 种语言有所增加。每段录音都有多种转写风格。其中一版是逐字转写，包含“uh”这类填充词，数字也拼写出来。另一版则经过清理，不含填充词，并用数字代替文字。Nvidia 还分享了用于构建该数据集的工具，以便开发者能在自己的录音上运行这些工具。不过，该公司表示该数据集与模型的训练数据并不完全匹配。

Nvidia 在印度医生和医学生的录音上测试了定向微调。在完整基准测试中，更精确的提示将错误率从 30.8% 降至 23.8%。经过微调后，错误率降至 11.8%。训练数据主要是合成语音。对于模型此前未听过的说话人，Nvidia 另行报告错误率从 22.44% 降至 12.17%，相对提升 45.8%。这使适配后的模型领先于一个开放医疗语音模型，后者的得分为 13.79%。Nvidia 表示，整个过程在单块 Nvidia GB300 上耗时约 14 GPU 小时。

这种专业化是有代价的。在通用英语语音上，错误率略有上升，而医疗模型在品牌药名上保持了更高的准确率。Nvidia 建议在构建定制版本时，至少预留 100 条真实、经过验证的录音用于测试。

基础模型也有局限。功能因语言而异，Nvidia 表示音频问答功能是用英语训练的。该模型也仅针对录制音频构建。Nvidia 表示，用户应抽查姓名、说话人变化和答案。

模型和数据集已在 Hugging Face 上发布。还有一个可以试用的演示。对于微调，Nvidia 提供了指南和一个扩展，可让 AI 编码助手运行训练工作流。

Nvidia 直到最近才在 9 月推出Nemotron 3 Diarization，一个专用的说话人识别模型。它最多能区分八位说话人，即使在实时对话中也是如此，但实际转写仍需要像 Nvidia 的 Parakeet 这样的独立模型。Nemotron 3.5 Transcribe 将这两项工作合二为一，并增加了翻译和音频理解功能。不过，它不支持实时处理。Nvidia 此前已将其 Granary 数据集用于多模态 Nemotron 3 Nano Omni。

竞争对手正在设定不同的优先级。Mistral 的 Voxtral 系列也结合了转写和音频理解。随着最近发布的 Voxtral 3，该公司正专注于实时语音代理。

没有炒作的 AI 新闻——由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。