NVIDIA 发布 Nemotron 3.5 Embed、Rerank 和 Parse 开源检索模型

Hugging Face 社区博客·2026-10-21 18:41· 1 小时前AI 评分61

NVIDIA Nemotron 3.5 Embed、Rerank 与 Parse：以世界级检索模型推进智能体发展

AI 导读

NVIDIA 扩展 Nemotron Retriever 系列，发布 Nemotron 3.5 Embed（8B BF16、1B BF16、1B NVFP4）、Nemotron 3.5 Rerank 8B BF16 和 631M 参数的 Nemotron 3.5 Parse，均为开放商用权重。

正文 · 原文

智能体的回答取决于其能够检索到的证据。当证据不完整或不相关时，智能体会重复搜索并检查更多文档，在完成任务前消耗更多推理 token。更好的检索能帮助智能体以更少的 token 浪费得出有依据的答案。在企业规模下，这种浪费会导致巨大的低效。智能体需要合适的检索模型和系统来更快地获得洞察。

今天，我们扩展了 Nemotron Retriever 系列，新增用于嵌入、重排序和文档提取的开放商用模型。新模型包括 Nemotron 3.5 Embed 8B BF16、1B BF16、1B NVFP4、Nemotron 3.5 Rerank 8B BF16 以及 631M 参数的 Nemotron 3.5 Parse。

这些最先进的模型共同将多模态检索、相关性排序和文档处理引入企业智能体工作流。

为更高效的智能体提供更好的检索

检索质量既影响智能体生成的答案，也影响 LLM 推理成本。相关的证据能帮助智能体回答问题或更好地决定下一步行动，而重排序能提升进入其上下文的证据质量。

设想一个智能体被要求识别下个季度面临缺货风险的产品并解释原因。它必须结合图表中的需求预测、表格中的库存水平以及报告中的供应商交货周期，然后推理补货能否在库存耗尽前到达。完成该任务需要在文档中找到相关证据，并在分析中综合使用这些证据。

为了解检索如何影响智能体整合证据并完成任务的能力，我们在 ViDoRe v3、BRIGHT 和 BrowseComp-Plus 上评估了 Nemotron 3.5 Embed 和 Rerank。ViDoRe v3 使用文本与图像组合输入，而 BRIGHT 和 BrowseComp-Plus 使用纯文本输入。在该流程中，智能体使用搜索工具查询语料库，检查证据，并改进下一次搜索尝试，以找到与给定查询最相关的信息。以下实验改变了搜索工具的实现方式：仅嵌入、嵌入加重排序，以及每种方式使用不同模型。驱动智能体的 LLM、工具、任务集、语料库和执行策略保持不变，仅检索配置发生变化。我们衡量智能体为每个任务找到相关信息的能力，以及每个任务的总智能体推理 token 数，包括所有轮次的输入和输出 token。

图 1. 不同检索配置下端到端任务成功率与每任务总智能体推理 token 数的关系。

• 更低的智能体推理成本：加入 Nemotron 3.5 Rerank 后，使用 Nemotron 3.5 Embed 8B 时每次查询的智能体 token 成本降低约 14%，使用 Nemotron 3.5 Embed 1B 时降低 13%，同时两种配置下的检索准确率均有所提升。
• 在相同 agent 预算下获得更好的证据：以 Nemotron 3.5 Embed 8B 作为检索器时，Nemotron 3.5 Rerank 在相近的 agentic token 成本下，nDCG@10 比 Qwen3-VL-Reranker-8B 高出约 0.9 分。

Nemotron 3.5 Embed 与 Rerank

这些 agent 成果的背后是 Nemotron 3.5 Embed 和 Nemotron 3.5 Rerank，它们跨文本和图像检索证据，并为其在 agent 上下文中排定优先级。Nemotron 3.5 Embed 基于上一代 Nemotron 3 Embed 文本嵌入模型构建，可从文档图像中检索证据，包括表格、图表、信息图、数据表和示意图。这使应用能够同时搜索文档文本和视觉内容所传达的信息。

这四款模型为检索和第二阶段排序提供了不同选择：

表 1. Nemotron 3.5 Embed 和 Nemotron 3.5 Rerank 模型在不同规模和变体下的能力与用例。

主要特性包括：

• 文本和图像检索：搜索文档文本以及包含表格、图表、信息图、数据表和示意图的图像。
• 多语言支持：文本检索在 34 种语言上进行了评估，多语言视觉检索则在 MIRACL Vision（18 种语言）和 KoViDoRe 上进行了评估。该模型可能支持评估范围之外的更多语言。
• 多模态重排序：一个 8B 交叉编码器对文本和图像输入的查询–文档对进行评分。
• BF16 和 NVFP4 部署：1B 嵌入模型提供 BF16 和 NVFP4 版本，量化同时应用于文本和图像编码器。
• 领域适配：Nemotron 嵌入微调配方支持自定义文档集合，在我们的图表和信息图实验中，Nemotron-3.5-Embed-1B-BF16 和 Nemotron-3.5-Embed-8B-BF16 的 nDCG@10 分别相对提升 18% 和 3%。

在 ViDoRe v3 上领先的多模态稠密检索

在 ViDoRe v3.1 上，Nemotron 3.5 Embed 8B BF16 取得 61.17 nDCG@10，在稠密检索模型中排名第一。这比 Llama Nemotron Embed VL 1B 模型取得的 52.23 分提升了 8.94 分。1B 模型将大部分视觉检索质量带入了更小的模型。Nemotron 3.5 Embed 1B BF16 从 8B 教师模型蒸馏而来，得分为 58.38 nDCG@10，保留了教师模型 95.4% 的分数。

图 2. 截至 2026 年 10 月 20 日，Nemotron 3.5 Embed 8B BF16 在 ViDoRe v3.1 排行榜的稠密检索模型中排名第一。

我们还将这些模型与 Qwen3-VL-Embedding、EmbeddingGemma-2 以及上一代 NVIDIA 模型在 ViDoRe v3、Korean ViDoRe 和 MIRACL Vision 上进行了比较。下图报告了纯图像输入以及图像与文本组合输入的检索准确率。

图 3. Nemotron 3.5 Embed 与上一代模型及部分基线模型的文本与视觉检索性能对比。

多语言结果展示了这些模型在不同语言设置下检索证据的表现。在 MIRACL Vision 上，8B 模型达到 72.6 nDCG@10，比 Qwen3-VL-Embedding-8B 高出 4.3 分。我们还在 KoViDoRe 上评估了这些模型；在使用图像与文本组合输入时，Nemotron 3.5 Embed 8B 和 1B 均优于 Qwen 基线模型。

为智能体任务重排证据

嵌入模型通过将内容表示为向量，使大规模集合可被检索。在检索返回候选集后，Nemotron 3.5 Rerank 8B BF16 会针对查询评估每个候选，以在文本和图像输入上优化排序。通过区分广泛相关的内容与直接回答问题的证据，重排器帮助智能体更有效地利用上下文预算，并聚焦于完成任务所需的信息。对于智能体检索系统，更早呈现最强证据可以减少干扰性上下文，帮助智能体生成更有依据、更高效的响应。

我们与 MTEB 团队合作，推出 ViDoRe v3.1 重排排行榜，用于在纯图像、纯文本以及图像与文本组合输入的文档检索场景中对重排器进行基准测试。Nemotron 3.5 Rerank 8B BF16 在图像与文本组合输入下达到 60.49 nDCG@10，而 Qwen-3-VL-Reranker-8B 为 59.17。

图 4. 截至 2026 年 10 月 20 日，Nemotron-3.5-Rerank-8B-BF16 在 ViDoRe v3.1 重排排行榜上排名第一。

图 5. Nemotron 3.5 Rerank 8B 与 Qwen 3 VL Reranker 8B 的文本与视觉重排性能对比。两个模型均对 Nemotron 3.5 Embed 1B 模型检索出的前 50 个候选进行了重排。

使用 NVFP4 扩展多模态检索

检索质量只是生产级智能体系统的一部分。随着文档集合和查询量增长，团队必须平衡准确率、吞吐量和基础设施需求。

Nemotron 3.5 Embed 1B NVFP4 为高吞吐多模态检索提供了优化的部署选项。在 NVIDIA GB200 上，与 1B BF16 模型相比，其吞吐量提升 27.1%，从每秒 101.3 个文档提升至 128.8 个文档，同时在 ViDoRe v3 的图像与文本组合输入上保留了 99.85% 的检索准确率。如图 6 所示，NVFP4 模型为在生产工作负载中扩展检索的团队提供了出色的准确率与吞吐量权衡。

这种部署灵活性补充了领域特定定制：团队可以选择适合其基础设施的模型权重数据类型，然后使嵌入和重排模型适配自身的术语、文档和检索任务。

图 6. ViDoRe V3 检索准确率与服务效率对比，比较 Nemotron 3.5 Embed 与部分较小的开源嵌入基线模型。

使用 NVIDIA NIM 实现高性能服务

NVIDIA NIM 为 Nemotron 3.5 Embed 提供了一条高性能部署路径。在 NVIDIA RTX PRO 6000 Blackwell 服务器版上的测试中，NIM 实现了每秒 6,031 次查询请求——约为同等 vLLM 配置每秒 2,099 次请求吞吐量的 2.9 倍——同时保持了相当的段落处理吞吐量。这一优化的服务栈可帮助企业以生产就绪的部署和支持来扩展检索工作负载。

图 7. Nemotron 3.5 Embed NIM 在 NVIDIA RTX PRO 6000 Blackwell 服务器版 GPU 上与 vLLM checkpoint 的服务性能对比。

使检索适配特定领域任务

企业智能体经常搜索包含专业术语和公司特定信息的文档，而通用检索模型可能无法完全捕捉这些内容。微调使团队能够利用自己的文档、查询和相关性标签，将 Nemotron 3.5 Embed 和 Rerank 适配到其特定领域和用例。

Nemotron 多模态嵌入微调配方将合成数据生成、难负样本挖掘、使用 NVIDIA NeMo AutoModel 进行微调以及评估整合到一个工作流中。团队可以从自己的文档中生成查询和相关性标签，为检索任务构建训练数据。

我们使用 Qwen3.8-Flash-Next 生成的 8,591 条合成查询，在 8,202 张图表和信息图图像上评估了该配方，重点关注包含多张相关图像的枚举型和开放式查询。在 1,719 条留出的合成查询上，将 Nemotron-3.5-Embed-1B-BF16 在 6,872 条查询上微调一个 epoch 后，nDCG@10 从 37.34 提升至 44.12，相对基座模型提升 18%。使用相同的合成查询集，将 Nemotron-3.5-Embed-8B-BF16 微调一个 epoch 后，nDCG@10 从 41.44 提升至 42.75，相对提升 3%。

我们如何构建 Embed 和 Rerank 模型

Nemotron 3.5 Embed 8B 基于 Ministral-3-8B-Instruct 构建，其语言组件从 Nemotron-3-Embed-8B-BF16 初始化。该模型使用对比学习在图像和文本语料上训练，以生成用于多模态检索的表示。

Embed 1B 模型从 Nemotron 3.5 Embed 8B 蒸馏而来，其语言组件从 Nemotron-3-Embed-1B-BF16 初始化。蒸馏结合了余弦损失和均方误差（MSE）损失，使学生模型的嵌入与教师模型对齐。

在嵌入模型训练全程，语言组件保持冻结。因此，纯文本嵌入预计与相应的 Nemotron 3 Embed 模型保持一致，从而可以复用现有的文本嵌入和向量索引。

Nemotron 3.5 Rerank 采用与 Nemotron-3.5-Embed-8B 相同的骨干架构，并配置为交叉编码器。嵌入模型分别编码查询和文档并对其相似度打分，而重排序器则联合编码每个查询–文档对。最终的多层感知机（MLP）评分头产生一个标量相关性 logit。

所有模型均在公开可用和合成的多语言、多模态数据混合上训练，其最终发布的权重通过 checkpoint 集成生成。有关训练数据的更多细节，请参见各模型的 Hugging Face 模型卡。

Nemotron 3.5 Parse

企业知识常常以 PDF 形式出现，而其中嵌入的文本只捕获了页面上部分内容。提取这些文本可能会丢失阅读顺序、使表格数值与其表头分离，或遗漏图表中传达的信息。扫描文档和基于图像的 PDF 可能根本不含可用的文本层。在这些信息能够支持搜索、检索或自动化文档工作流之前，像素需要转化为结构化内容。

Nemotron 3.5 Parse 将文档图像转换为机器可读文本，同时保留赋予内容意义的结构。它识别文档元素、其位置和阅读顺序，并将表格和图表提取为结构化表示。生成的 Markdown、HTML 表格和结构化块为开发者提供更适合索引、搜索和下游处理的内容。应用可以检索段落及其周围上下文，将表格作为行和列处理，并将提取的证据链接回其在原始页面上的位置。

Nemotron 3.5 Parse 拥有 6.31 亿参数，将这一能力带入大规模文档流水线，为检索和智能体工作流提供结构化信息，与 Nemotron 3.5 Embed 和 Rerank 相辅相成。

以更快文档处理实现领先准确率

图 8. 截至 2026 年 10 月 20 日，Nemotron 3.5 Parse 在参数量少于 10 亿的模型中位列 ParseBench 排行榜第一。

Nemotron 3.5 Parse 在参数量少于 10 亿的模型中位列 ParseBench 第一，得分 75.20，同时在单块 NVIDIA H100 上每秒处理 10.5 页。它通过优化的参数分配、多 token 预测、推测解码和灵活的原生分辨率处理，提供同类最佳的速度。ParseBench 测试表格和图表提取、内容忠实度、语义格式化和视觉定位。

开发者可以使用同一模型在速度或准确率之间扩展处理。单遍推理对每页提取一次，以实现最高吞吐量。双遍推理会重新处理初始页面解析中识别出的表格和图表。三遍推理增加一个检测遍，以发现更多需要细化的区域。这种方法将额外处理集中在能从更仔细查看中受益的文档区域。

表 2. 模型准确率能够以小幅吞吐量代价随额外模型遍数扩展。重新处理表格和图表的聚焦裁剪区域可提高准确率。

在此比较中，所有三种配置均为帕累托最优：没有其他被比较的配置能同时实现更高准确率和更高吞吐量。团队可以选择适合其工作负载的操作点，从大型文档集合的快速摄取到复杂页面的更详细提取。

图 9. Nemotron Parse 3.5 在 ParseBench 排行榜上实现帕累托最优性能。

我们如何构建 Nemotron 3.5 Parse

Nemotron 3.5 Parse 基于企业文档、科学论文、表单、表格、图表和多语言文本的多样化混合数据训练而成。强大的合成数据引擎扩展了模型所见的布局、结构和语言范围，与自动标注文档和人工标注数据形成互补。合成多语言数据有助于构建广泛的 OCR 能力，在涵盖 163 种语言和文字组合的评估中表现强劲。这种多样性使模型能够应对企业文档集合中出现的各种内容。模型卡与多语言覆盖范围。

我们通过 Group Relative Policy Optimization（GRPO）进一步提升鲁棒性和可靠性，使用自定义奖励函数来强化正确的文档结构并惩罚失败。这种后训练减少了重复生成循环和未闭合块，提升了表格一致性，并增强了对图表模式的遵循，使提取的信息对下游文档工作流更加可靠。

感谢 LightOn 以其模型和技术博客提升了开源标准。共享的技术对改进我们的模型起到了关键作用。

早期企业合作伙伴评估

• Elastic 客户可以通过 Elasticsearch 的 Inference API 使用 NVIDIA 推理端点访问 NVIDIA Nemotron Retriever 嵌入和重排序模型。Nemotron 3 即将通过 Elastic Inference Service（EIS）提供，而对 Nemotron 模型本地部署的支持已在路线图中。
• Vectorize 使用 Hindsight Agent Memory 评估了 NVIDIA Nemotron 3.5 Embed，它在两项长对话记忆基准测试中排名第一：在 LoCoMo 上达到 93.8% 的 recall@10，在 BEAM 100K 上达到 65.9%，优于其他七个嵌入模型。它还取得了最高的 MRR 和 recall@5，凸显了其在长而复杂的对话历史中检索相关记忆的优势。
• Perplexity 在 Q2D-Web 基准测试中看到了 NVIDIA Nemotron 3.5 Embed 的强劲结果。在其最新评估中，NVIDIA Nemotron 3.5 Rerank 8B 在私有 72 任务重排序基准上取得了最高平均分，在全部六个领域均表现强劲。这些结果凸显了专用检索模型与 Perplexity Decider 系列等通用决策模型并用的价值。
• Turbopuffer 在企业 PDF 搜索基准上评估了 NVIDIA Nemotron 3.5 Embed 8B，发现其在 Recall@20 上比次优模型多提供约 5% 的相关结果。这些模型是常见业务任务（例如搜索包含复杂图像的 PDF）的 SOTA，现已在 Turbopuffer 原生嵌入中提供。

开始使用

开发者可以在 Hugging Face 上获取开放权重、数据、训练配方等，部署 NVIDIA NIM 用于生产推理，或通过领先的 AI 云和推理合作伙伴部署这些模型，包括 Baseten（Embed、Rerank、Parse）、DeepInfra（Embed 1B、Embed 8B、Rerank 8B）和 FriendliAI（Embed 1B、Embed 8B、Rerank 8B）。

• Nemotron-3.5-Parse： Hugging Face、NIM
• Nemotron-3.5-Embed-8B-BF16： Hugging Face，NIM
• Nemotron-3.5-Embed-1B-BF16： Hugging Face，NIM
• Nemotron-3.5-Embed-1B-NVFP4： Hugging Face，NIM
• Nemotron-3.5-Rerank-8B-BF16： Hugging Face，NIM

针对使用 NVIDIA AutoModel 进行领域适配，我们为多模态嵌入和重排序提供微调支持，使团队能够将模型适配到自己的文档集合和相关性要求。请从 Nemotron 嵌入和重排序微调配方开始。

根据你的工作流选择模型：Parse 用于从文档中提取结构化信息，Embed 用于搜索文本和图像，Rerank 用于改善检索结果的排序。将它们组合起来，构建能为 AI 智能体提供更强证据的检索流水线。

致谢与主要贡献者

Nemotron 3.5 Retriever 的发布是 NVIDIA 多个团队和众多人员出色协作的成果，主要贡献者包括

Ronay Ak、Yauhen Babakhin、Behzad Boroujerdian、Jiarui Cai、Ryan Chesler、Zoe Faul (cw)、Jennifer Hajduk、Steve Han、Oliver Holworthy、Isabel Hulseman、Bo Liu、Gabriel Moreira、Even Oldridge、Radek Osmulski、Denis Ovchinnikov、Julio Perez、Khang Pham、Alex Richards、James Rong、Jihyeon Ryu、Sohail Sahi、Regis Schiavi、Sean Sodha、Marek Wawrzos、Jakub Zakrzewski、Lucy Zhang、Yuhe Zhang。

来源：Hugging Face 社区博客 · huggingface.co