跳到正文
RadarAI· Hugging Face 社区博客（混合发现）·· 4 小时前AI 评分71

NVIDIA 发布开放权重语音模型 Nemotron 3.5 Transcribe 及 Granary v2 数据管线

AI 导读

NVIDIA 发布开放权重语音模型 Nemotron 3.5 Transcribe，已在 Hugging Face 和 ModelScope 提供，单一模型支持 40 种语言转写、31 种语言与英文互译、13 种语言说话人分离和音频问答，可处理最长一小时、最多 8 个说话人的录音。

正文 · AI 翻译

Hugging Face 社区博客·2026-10-28 22:58· 43 分钟前AI 评分63

NVIDIA Nemotron 3.5 Transcribe 与 Granary v2：可提示、可适配的智能多语言转写

AI 导读

NVIDIA 发布开放权重语音模型 Nemotron 3.5 Transcribe，现已在 Hugging Face 和 ModelScope 提供，单一模型支持 40 种语言转写、31 种语言翻译、13 种语言说话人分离和音频问答，可处理最长一小时、最多 8 个说话人的录音。

正文 · 原文

一个开放模型，支持多语言转写、说话人归属、翻译和音频问答，在排行榜上名列前茅，并提供开放的 Granary v2 数据管线和微调方案以便适配。

一份转写稿可以记录下每一个说出的词，却仍让用户或应用困惑于谁说了什么、如何翻译，或如何格式化特定领域的术语。多语言通话、快节奏会议和医疗口述各自需要不同的输出：翻译、说话人标签，或拼写正确的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开放权重、可提示的模型，可将录制的语音转换为有用的文本，现已在 Hugging Face 和 ModelScope 上提供。它将转写、说话人归属（说话人分离）、翻译和音频问答整合到一个检查点中：可转写 40 种语言，将其中 31 种语言与英语互译，并对 13 种语言进行说话人归属。它可处理最长一小时的录音，并标注最多八位说话人。开发者可以用自然语言引导输出，选择音频的处理位置，并让识别适配领域词汇和口音。

Transcribe 在 Hugging Face Open ASR Leaderboard 的英语榜单中位列开放权重模型第一，并处于 Artificial Analysis 的准确率—活跃参数前沿。在说话人归属方面，它在 David AI 的 21 语言说话人分离排行榜上取得最低错误率，并在 VoiceArena 的 14 系统对比中排名第一。它可在单块 NVIDIA GPU 上运行，从 DGX Spark 到 Blackwell 数据中心系统均可。

Granary v2 的多语言数据（可在 Hugging Face 和 ModelScope 获取）和可复用的数据整理管线，连同 NeMo Speech 微调工具，将提示级控制扩展到训练：开发者可以定义所需的书面形式，并让模型适配其应用所遇到的语音。在一个医疗案例研究中，微调将留出说话人上的词错误率（WER）相对于最佳提示降低了 45.8%。

用自然语言引导转写和分析

同一个检查点可以根据指令将一次会议录音转换为不同的输出：

  • “转写这段录音并标注每位说话人。”
  • “将这段音频翻译成英语。”
  • “这次会议做出了哪些决定？”

在下方视频中体验该模型的实际表现，它处理了 1940 年怪诞喜剧《女友礼拜五》中的经典场景——这部电影以其快节奏、大量重叠的对话而闻名。

Nemotron 3.5 Transcribe 为《女友礼拜五》（1940）中的一个场景生成字幕并标注说话人，包括重叠的对话。

对于不熟悉的术语，先尝试提供上下文，再考虑训练。例如，在医疗场景中：

Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.

模型卡提供了推荐预设，包括针对音频问题的推理，以及完整的提示指南和按语言划分的任务矩阵：语言支持因任务而异，音频问答以英语训练。同时支持词级时间戳。与任何语音模型一样，请对照录音抽查姓名、说话人变化和答案。

从直播课堂到持久的课程。 Agora 的实时语音和视频平台为应用中的实时对话提供支持，其在课堂演示中使用了词级时间戳：Nemotron 3.5 Transcribe 将录制的课程转换为与回放一同显示的文字记录，让学生可以看到说了什么以及何时说的。Agora 的博客详细介绍了他们是如何构建的。

从转录到说话人归属的排行榜领先

在开放权重模型中，Transcribe 在“说了什么”上领先；在“谁说的”上，它 outright 位居两项说话人归属基准测试榜首。

Hugging Face Open ASR 排行榜。 该排行榜以词错误率（WER）衡量公开测试集上的转录准确率，分为三个赛道：

  1. 英语：在开放权重模型中排名第一，平均 WER 为 5.33%（图 1）。
  2. 多语言：七种语言的平均 WER 为 4.62%，在模型卡的 Open ASR 比较中为评估的开放权重模型里最低。
  3. 长音频：平均 WER 为 10.98%，同样在该比较中最低。

Hugging Face Open ASR English Open (2) Leaderboard table showing model rankings on the Hugging Face English Open ASR leaderboard, with columns for rank, model, average WER, RTFx, and dataset scores. nvidia/Nemotron-3.5-Transcribe is ranked first among open-weight models with an average Word Error Rate (WER) of 5.33% and an RTFx of 462.09.

图 1. Nemotron 3.5 Transcribe 在 Hugging Face Open ASR 排行榜（英语）上以 5.33% 的平均 WER 在开放权重模型中排名第一，API 模型除外。WER 越低意味着转录错误越少。

Artificial Analysis 语音转文本排行榜。 Artificial Analysis 以其词错误率指数 AA-WER 独立对语音转文本模型进行排名。Nemotron 3.5 Transcribe 以 2.8% 的 AA-WER 在开放权重模型中并列第一，其活跃参数约为 4B，而与之并列的模型为 24B。在 AA-AgentTalk（占 AA-WER 指数 50% 的留出语音代理语音集）上，Transcribe 的 WER 得分为 1.8%，而次优开放权重模型为 2.3%。Transcribe 将其语音编码器与混合 Mamba–Transformer 专家混合语言模型配对，因此其 30B 参数中每个 token 仅有约 4B 处于活跃状态。这使其位于 Artificial Analysis 的准确率与活跃参数开放权重帕累托前沿上。在 AA 的全模型图表中，它排名领先于多个广泛使用的专有语音 API。

ArtificialAnalysis-WER vs Model Size (Open Weights) (22 Oct '26)Scatter chart from Artificial Analysis plotting word error rate (AA-WER, non-streaming) against active parameters on a log scale for open-weight speech models. Nemotron 3.5 Transcribe sits on the Pareto frontier at about 4B active parameters and 2.80% WER.

图 2. 以约六分之一的活跃参数实现领先的 AA 准确率：Nemotron 3.5 Transcribe 以约 4B 活跃参数达到 2.80% 的 AA-WER。

跨语言和重叠的说话人归属。 Sortformer 说话人线索与声学特征一起到达语言模型，因此 Transcribe 可以在生成过程中标记每个轮次，而不必仅依赖后续步骤将说话人附加到单词上。

David AI DAI-ASR-I18N 排行榜。 在 David AI 的 DAI-ASR-I18N 转录与说话人归属联合赛道上，Transcribe 在评估的开放权重模型中排名第一，总体排名第二。在该基准的说话人分离赛道（对 21 种语言中谁在何时说话进行评分）上，它在测试的 14 个系统中具有最低的说话人分离错误率，略领先于 NVIDIA 专用的 Nemotron 3 Diarization 模型。

DavidAI_Nemotron_3.5_Transcribe_Diarization_Accuracy Bar chart from David AI’s DAI-ASR-I18N benchmark ranking diarization systems by overall diarization error rate (DER) across 21 languages, where lower is better. Nemotron 3.5 Transcribe ranks first at 18.26%, followed by Nemotron 3 Diarization at 18.38%; the remaining open-weight and proprietary systems range from 22.85% to 37.55%

图 3。NVIDIA 模型在 David AI 多语种说话人分离排行榜上占据前两名：Nemotron 3.5 Transcribe 在 21 种语言上的整体说话人分离错误率（DER）最低，为 18.26%，紧随其后的是 Nemotron 3 Diarization，为 18.38%。DER 衡量说话人时间错误；越低越好。

VoiceArena Diarization-Bench。在 VoiceArena 的英语完整会话基准上，Transcribe 在 14 个系统中取得了最低的拼接最小排列词错误率（cpWER），并在面对面和在线两种场景中均排名第一。它的漏词也最少：删除词占参考词的 8.32%，而中位数约为 31%。

VoiceArena_Track2_cpWER_ranking_1Bar chart from VoiceArena’s Diarization-Bench v1 ranking 14 diarization-plus-ASR systems on English full sessions with overlapping speech by concatenated minimum-permutation word error rate (cpWER), where lower is better. NVIDIA Nemotron 3.5 Transcribe ranks first at 32.4%, followed by NVIDIA Multitalker Parakeet \+ Nemotron 3 Diarization at 34.2%; the remaining systems range from 34.7% to 71.9%

图 4。NVIDIA 模型在 VoiceArena 的 14 系统对比中占据前两名：Nemotron 3.5 Transcribe 以 32.4% 的 cpWER 领先，紧随其后的是 NVIDIA Multitalker Parakeet 搭配 Nemotron 3 Diarization，为 34.2%。Diarization-Bench v1 涵盖英语完整会话、重叠语音和 2–8 名说话人。cpWER 在匹配说话人标签后统计词错误；越低越好。

更多评测。Ocular AI 的 Converse-STT 评测将 Transcribe 列为排名最高的开源模型。Josh Talks 的 Voice of India 排行榜报告了 Transcribe 在印度各语言上的结果。

从边缘到数据中心均可运行。Transcribe 可在单块 NVIDIA GPU 上运行，从 Jetson AGX Thor 和 DGX Spark 到 Blackwell 数据中心 GPU。在一块采用 NVFP4 精度的 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，它以高并发处理 30 秒音频片段，不到三分钟即可处理 100 小时音频。

今天即可用 vLLM 部署该检查点，或用 NeMo-Speech.cpp 在本地运行。Transcribe 面向录制音频，而非实时流式传输。

专业录音仍可能需要针对领域词汇和转写规范进行适配。Granary v2 和 NeMo Speech 微调可解决这一问题，起点是 Transcribe 背后的数据。

Granary v2：Transcribe 背后的开放数据整理流水线

可提示的语音模型需要具有明确格式目标的训练数据。Granary v2 是 Hugging Face 和 ModelScope 上 Nemotron 语音集合的一部分。它使用 NVIDIA NeMo Curator 构建，其可复用流水线准备了 Nemotron 3.5 Transcribe 训练中使用的多语种语音，生成对齐的转写变体、任务标签和可检查的质量元数据。公开清单涵盖 48 种语言、16 个来源语料库的 463,062 小时，相比 Granary v1 的 25 种语言有所增加。这些数字描述的是数据集发布内容，而非 Transcribe 的完整训练混合或其采样权重。

Granary v2 为每段录音生成三种转写形式（表 1），即开发者可以通过提示向 Transcribe 请求的逐字风格和干净风格。除转写外，该流水线还生成短音频字幕、外来词语码转换还原、基于语音的问答对、上下文 ASR 偏置词，以及带自动质量评分的翻译。

训练目标 示例转写
文本规范化、逐字 I paid, uh, twenty-five euros.
逆文本规范化、含不流畅 I paid, uh, €25.
逆文本规范化、不含不流畅 I paid €25.

表 1。Granary v2 针对同一话语的训练目标。

该流水线组织为四个可复用阶段：

  • 1. 音频准备（元数据）：对原始音频或长音频进行分段，在整个录音中跟踪说话人，并标注声学事件和语言。Granary v2 的源数据已经完成分段，因此本次发布跳过了这一阶段。
  • 2. 转写（ASR）：将每种语言路由到主 ASR 模型和恢复 ASR 模型，当主模型未通过幻觉检查时回退到恢复模型。人工参考转写有助于保留可信的拼写，同时补充口语形式和语流不畅现象。
  • 3. 任务标签生成（文本）：派生转写变体，然后检查字符率、幻觉模式以及模型或人工参考的一致性。只有被接受的记录才会获得上下文 ASR 术语和翻译。
  • 4. 高保真（HiFi）：过滤掉有噪声、削波或包含多个说话人的片段，保留一组规模更小的高质量录音，用于 ASR 之外的用途。对于 VoxPopuli 数据集，它将 354k 小时缩减为覆盖 22 种欧洲语言的 111k 小时。

fig6-granary-v2-pipeline-redesign Diagram of the Granary v2 curation pipeline following one roughly 12-minute sample from raw audio to a training target. The Metadata pipeline segments the audio with voice activity detection and diarization and identifies the language. The ASR pipeline transcribes a segment with a primary and a fallback model and keeps the best prediction, “Like, Granary-v2 is, uh, making every word matter.” The Text pipeline derives tn_raw, itn_raw, and itn_clean transcripts, plus translations, a caption, a speech Q&A pair, and context-ASR terms. The training view packs these into an instruction pair that maps “Transcribe without disfluencies” to “Granary-v2 is making every word matter.”

图 6. Granary v2 数据整理流水线，展示一个样本从原始音频经过元数据、ASR 和文本阶段到训练样本的过程。

开发者可以使用 Ray 和 NeMo Curator 流水线以及 NVIDIA Dynamo 后端，在自己的录音或获授权的公共语料库上运行，或基于 Granary v2 公开清单进行构建。清单包含三种转写形式，分别为 tn_raw、itn_raw 和 itn_clean，以及上述标签、实体提示、派生指令对、来源信息和每条记录的质量标志。请根据各语料库的原始许可证单独下载源音频，并遵循发布方公布的条款。

让识别适配真正重要的词汇

从指定语言、文字和转写格式的开发集提示开始。在下面的案例研究中，在提示中指明英语和拉丁字母，将完整基准的 WER 从 30.8% 降至 23.8%。对于仍然存在的领域错误，NeMo Speech 微调工作流会将代表性语音与明确的书面目标配对。

NeMo Speech 医疗 ASR 案例研究在 Eka Care 的公开基准上展示了这一进展，该基准包含来自印度医生和医学生的录音，共有 3,619 个片段，且没有指定的训练划分。该研究从生成的医疗文本和公开药品目录构建适配数据，然后组合约 153 小时的合成语音、来自 Common Voice 的 29 小时带口音英语，以及来自 MultiMed 的 63 小时医疗录音。

fig7-eka-care-62pct-rebrand Bar chart titled “62% fewer transcription errors” for the Eka Care medical ASR benchmark of Indian medical speech. On the full test set, word error rate falls from 30.8% out of the box to 23.8% with a better prompt that names English and the Latin alphabet, and to 11.8% after fine-tuning. Side labels note about 14 GPU-hours on one NVIDIA GB300 and about 153 hours of synthetic speech plus 92 hours of public accented and medical speech

图 7. 在 Eka Care 印度医疗语音基准的完整测试集上，更好的提示将 WER 从 30.8% 降至 23.8%，微调后降至 11.8%，相比开箱即用的模型减少了约 62% 的转写错误。完整集包括用于选择提示和检查点的 855 个调优片段；下面的留出结果才是更干净的测试。

合成生成将书面目标与其口语呈现分开：“HbA1c”是标签，而“H B A one C”被发送给合成器。多个 TTS 声音拓宽了音频；真实录音增加了口音和录音条件。训练文本会针对与基准参考的精确匹配和共享的八词序列进行过滤。

与 Granary v2 的显式目标一样，训练样本会变化数字、单位间距、公司名称展开和品牌名连字符，并在指令中说明所需的规范。部分提示包含带有近似干扰项的术语列表，使模型学会仅在音频支持时才使用某种拼写。最终系统使用一个固定的规范提示和一次模型推理，不进行检索或转写后处理。

该方案训练语音编码器和投影层，并使用 LoRA 适配语言模型。两次运行使用不同的数据混合；在合并适配器后，选定的检查点被均匀平均为一个最终模型。检查点选择使用解码后的开发集结果，而非仅依赖训练损失。从文本生成到评估的完整适配过程，在一块 NVIDIA GB300 上耗时约 14 GPU 小时。

在留出说话人上测得的领域增益

该研究按说话人将基准划分为 855 个调优片段（用于选择提示和检查点）和 2,764 个留出片段（每个最终系统解码一次）。使用 Eka Care 的 KARMA 评分流水线，微调将留出集 WER 从最佳提示基线的 22.44% 降至 12.17%，相对降低 45.8%，这是增益可泛化到新说话人的最清晰证据。关键词 WER 从 9.2% 降至 6.5%，语义 WER 从 10.0% 降至 7.6%。在相同的留出说话人和评分器上，适配模型的 12.17% WER 优于一个开放医疗专家模型（13.79%）和一个广泛使用的通用 ASR 模型（14.92%）。

在通用英语上，LibriSpeech test-clean WER 略有上升，从 1.54% 升至 1.69%。医疗专家模型在品牌药和诊断的精确匹配上仍领先；该研究指出，下一步是使用临床医生说出品牌名的真实录音。对于你自己的领域，请保留至少 100 个真实、有标注的片段用于检查点选择，并评估你的应用所依赖的实体类型以及通用语音保留情况。

该案例研究包含复现每个步骤的命令。微调教程涵盖方案、资源需求以及训练、导出和评估工具，包括新语言和语码转换 ASR。配套的 agent skill 让编码代理运行该工作流，从基线选择和数据检查到训练验证、适配器合并和评估。

ModelScope 还使开发者能够通过其 ms-swift 框架微调 Nemotron 3.5 Transcribe，用于专门的多模态应用。

开始使用 Nemotron 3.5 Transcribe 和 Granary v2

在 Hugging Face 演示或 ModelScope Studios 中试用 Nemotron 3.5 Transcribe，然后从 Hugging Face 或 ModelScope 下载检查点，并使用 vLLM 部署指南进行服务。

如需跳过自托管，请使用来自 Baseten、DeepInfra 或 Simplismart 的托管端点。

要将其适配到你的领域，请从 Hugging Face 或 ModelScope 上的 Granary v2 清单以及医疗 ASR 案例研究开始，或让编码代理通过微调 agent skill 驱动工作流。

模型与数据集

代码仓库与教程：NVIDIA NeMo Speech GitHub | NeMo Curator Granary v2 Pipeline | vLLM 部署指南 | 语音微调指南 | 微调 Agent Skill
*合作伙伴博客：Agora | Inflection AI| VoiceArena | Simplismart *
本地 AI：NVIDIA RTX PC、笔记本电脑和 DGX Spark 上本地 AI 的新特性

来源：Hugging Face 社区博客 · huggingface.co

来源：RadarAI · aihot.news

NVIDIA 英伟达语音与音频开源生态模型发布#模型发布#语音#开源生态#Hugging Face