Nvidia 发布开源多模态模型 Nemotron 3.5 Super VL，并推出两款 Bolt 端侧模型

The Decoder：AI News· Jonathan Kemper·2026-10-16 00:09· 1 小时前同事件AI 评分77

Nvidia 的 Nemotron 3.5 Super VL 是一款为持续运行企业 AI 智能体而打造的开源模型

AI 导读

Nvidia 发布 120B 参数（每 token 激活 12B）的开源多模态模型 Nemotron 3.5 Super VL，面向企业后台持续运行的智能体，由 Nemotron 3 Ultra 蒸馏而来，号称以约五分之一的参数达到 Ultra 的准确率。

同一件事，精选收录的是《NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款端侧模型》

Nvidia 发布了 Nemotron 3.5 Super VL，这是一款拥有 1200 亿参数的开源多模态模型，专为企业级智能体打造。与此同时，两款紧凑型 Bolt 模型也一同推出，旨在将 AI 智能体带到本地 PC 和边缘设备上。

Nvidia 为需要在后台持续运行、处理文本、图像、文档和视频的专用智能体打造了 Nemotron 3.5 Super VL。

正如该公司在一篇技术博客文章中所解释的，它采用混合专家架构，每个 token 仅激活 1200 亿参数中的 120 亿。Nvidia 与 Nemotron Coalition 共同开发了该模型，该联盟成员包括 Mistral AI、Thinking Machines Lab、Perplexity 和 Black Forest Labs。

两款面向本地硬件的较小模型同时发布。Nemotron 3.5 Bolt 74B-A9B 24GB 在本地机器上运行智能体任务，而更小的 Bolt E4B 4GB 则面向快速语音助手，将于本月晚些时候推出。Nvidia 声称，这两款模型都提供“每 GB 内存的最高智能”。

Super VL 和 Bolt 加入了现有的 Nemotron 产品线。8 月发布的 Lightning 专为高吞吐量打造，而 Ultra 则负责处理高难度推理任务。每个变体都针对 Nvidia 硬件进行了优化。

Bar chart of the Artificial Analysis Intelligence Index v4.3.2 with 27 models, led by Claude Opus 5.5 at 58 points. Nemotron 3.5 Super VL scores 26 points, Nemotron 3.5 Bolt 74B-A9B gets 21. — 在 Artificial Analysis 总排行榜中，Super VL 大幅落后于领先的闭源模型，但优于 Nvidia 自家的 Nemotron 3 Ultra。| 图片：Nvidi

Nvidia 声称其最大模型以五分之一的规模实现了同等准确率

Nvidia 从其最大的推理模型 Nemotron 3 Ultra 中蒸馏出了 Super VL。在智能体遵循指令、调用工具、完成多步骤业务流程或分析图像的任务中，Super VL 据称能以约五分之一的参数量达到 Ultra 的准确率。根据 Nvidia 的说法，在 Hermes 和 LangChain 的智能体测试中，它的得分实际上高于 Ultra，并且在编码基准 SWE-bench 和 Terminal-Bench 上也超越了前代 Nemotron 3 Super。

Scatter plot comparing SWE-bench Pro accuracy against hours to complete 10,000 tasks on four B200 GPUs. Nemotron 3.5 Super VL takes about 10 hours at roughly 51 percent accuracy. Qwen3.8 Flash Next and DeepSeek V4 Flash land at roughly 50 to 56 hours. Inkling Small takes nearly 120 hours. — 在编码基准上，Super VL 的准确率略低于竞争对手，但 Nvidia 表示它完成任务的速度快四倍。| 图片：Nvidia

根据 Nvidia 援引 Artificial Analysis 排行榜的数据，在单块 GPU 上，Super VL 在智能体任务中的吞吐量最高可达其他同等规模开源模型的五倍。在 EXO Labs 于 DGX Spark 上进行的一项独立测试中，没有其他模型能同时做到更准确且更快速。当智能体需要在数天或数周内处理大量任务时，这种速度优势便能带来回报。

Scatter plot comparing the Artificial Analysis Intelligence Index for open models against output speed at 100,000 input tokens. Nemotron 3.5 Super VL sits alone in the highlighted quadrant at roughly 630 tokens per second. — 根据 Nvidia 的说法，在可比的 Intelligence Index 分数下，Super VL 每秒生成的 token 数量最高可达同级别其他开源模型的五倍。| 图片：Nvidia

面对闭源前沿模型，Nvidia 将 Super VL 推销给那些希望用自己的数据微调模型、并在自己的服务器上运行、不受服务提供商条款约束的公司。Nvidia 表示，这可能吸引持续筛查理赔欺诈的保险公司，或按自有标准评估信用度的金融服务公司。为便于定制，该公司提供了 NeMo 框架、Python 流水线和开放数据集。

Chart from local.ai plotting the Intelligence Index of local models against end-to-end agentic task time on the DGX Spark. Nemotron 3.5 Super VL sits on the efficiency curve between Qwen 3.8 Flash Next and Qwen 3.6 35B A3B. DeepSeek V4 Flash, Inkling Small, and Qwen 3.8 27B fall below it. — 在 DGX Spark 上，没有其他受测模型能同时做到比 Super VL 更准确且更快速。| 图片：Nvidia

压缩与缓存降低计算开销

Nvidia 用其 4 位 NVFP4 格式压缩 Super VL。在 Blackwell GPU 上，模型完全以 4 位精度运行，而较旧的显卡仅以 4 位存储权重，并以 16 位进行数学运算。模型的敏感部分保持更高精度。为防止质量损失，Nvidia 训练压缩版本以匹配未压缩原版的输出。

Two bar charts showing Nemotron 3.5 Super VL on 16 B200 GPUs with and without Nvidia Dynamo. With Dynamo, the number of users served jumps from about 60 to over 500, and time to first token drops from 2.75 to roughly 0.4 seconds. — 据 Nvidia 称，借助其推理软件 Dynamo，Super VL 可服务的用户数量提升至八倍，同时将首 token 时间缩短 85%。 | 图片：Nvidia

内置的草稿组件会提前提出若干 token，主模型随后在一次前向传播中对其进行验证。在 DGX Spark 上，Nvidia 则推荐自家的 LiLiCorr 方法，该方法会一起评估所有草稿 token，从而获得更连贯的输出。Nvidia 表示，与不使用推测性草稿相比，这种方法可将文本生成速度提升最高 2.3 倍。

智能体在每次请求时都会发送相同的指令、工具描述和对话历史，因此 Super VL 会缓存这些重复出现的部分的计算，而不是每次都重新运行。Nvidia 的推理软件 Dynamo 还会将同一会话的请求路由到已持有该会话缓存的 GPU。在 16 块 B200 GPU 上，这使 Super VL 可服务的并发用户数量提升至八倍，首 token 时间下降 85%。

Super VL 无需单独的视觉模型即可解析表格、图表和 PDF

在视觉方面，Nvidia 聚焦于智能体在日常工作中遇到的各类材料，包括 OCR、表格、图表、多页文档和视频。Super VL 可以解读图表，将其与同一文档中其他位置的表格关联起来，并对两者进行总结，而无需单独的图像模型。

据 Nvidia 称，在图表基准测试 CharXiv 上，Super VL 得分为 80.8%，而较旧的 Nemotron 3 Nano Omni 为 63%。当模型还能运行 Python 代码时，得分升至 84%。Nvidia 表示，在 OCRBench v2 排行榜上，它位列最佳开放模型之列。

本地智能体仍需要昂贵的硬件

Bolt 74B-A9B 24GB 是 Super VL 的精简版本，构建为混合专家模型，每步仅激活其 740 亿参数中的 90 亿。为了将其塞进 24 GB 内存，Nvidia 对权重采用了激进的 2 位量化。

Bolt 可处理日常本地任务，即智能体需要多步操作、调用工具或搜索网页的场景。据 Nvidia 称，用户可以让它编写和调试代码，或判断哪些 PC 组件与其系统兼容。

该模型针对 Nvidia 的 RTX Spark——一款面向支持 AI 的 Windows 笔记本电脑的新芯片，以及 DGX Spark——一款配备最高 128 GB 共享内存的紧凑型 AI 工作站进行了优化。它也可在 GeForce RTX PC、DGX Station 和 RTX PRO 工作站上运行，并支持 llama.cpp、Ollama、LM Studio 和 vLLM。

即使经过重度压缩，24 GB 仍是一个很高的门槛。只有昂贵的高端硬件才提供这么大的内存，而在当前 GPU 价格下，大多数消费者无法承受这一成本。目前，该本地智能体面向开发者和高性能工作站用户。

对于较弱的设备，Nvidia 计划推出 Bolt E4B 4GB，不过尚未出货。它设计用于在 GeForce RTX 显卡、Jetson 模块以及 RTX/DGX Spark 上运行，为语音助手、互动角色或设备界面提供支持。该模型应能在多轮对话中保持自然交流，同时使用工具并感知当前应用中正在发生的事情。

早期采用者涵盖金融和网络安全领域

Nvidia 表示，已有数十家组织在针对自身需求微调 Super VL，主要集中在文档量大且数据敏感的行业。Scale AI 为媒体公司 Skydance 改编了该模型，用于处理供应商信用的智能体，预计成本将降至四十分之一，响应时间降至五分之一。Ramp 使用该模型将收据照片转化为结构化数据，预计响应速度提升十倍。EY 将其用于收购尽职调查，Hebbia 用于分析信贷协议。

Scatter plot comparing small models under 24 GB by GDPval-v2 score and speed on the AIPerf SPEED-Bench. Nemotron Bolt 24GB lands at roughly 78 tokens per second and just under 28 points, ahead of Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and Muse Glimmer 30B. — 在最高 24 GB 的模型中，据 Nvidia 称，Nemotron Bolt 提供了速度与任务质量的最佳组合。| 图片：Nvidia

第二波采用者来自网络安全领域。AI21 为安全公司 Alice 微调了 Super VL，用于分析威胁和漏洞，据 Nvidia 称准确率提升了 40%。Dream 使用该模型寻找漏洞，CrowdStrike 正在构建用于防御企业网络的智能体。Salesforce 计划自动化政府工作流程，R1 正在审计医疗账单，Perplexity、Dassault Systèmes 和 Mercor 也在使用该模型。

Nvidia 发布数据集和训练配方

Nvidia 将发布基础版本、后训练版本和 4 位压缩版本的权重，以及数据集和训练配方和强化学习环境。这使得 Super VL 比许多开放权重模型更加开放，后者通常只共享权重。

Nvidia 表示，该模型在预训练和持续预训练期间使用了超过 25 万亿个 token 进行训练，后训练和强化学习在约 100 个开放训练环境中增加了约 400 万个示例。

在 Hugging Face 上，Nvidia 还发布了多个数据集，供其他开发者用于训练或微调自己的模型。这些数据集涵盖智能体如何使用工具、遵循指令、处理长文本和理解图像，而其他数据集则涉及金融、安全和公平性。

其中一个数据集针对印度使用的语言。Nvidia 与印度理工学院马德拉斯分校及其 AI 实验室 AI4Bharat 共同构建了该数据集，其中包含约 2.83 万亿个 token 的文本，涵盖 22 种印度语言。

Bar chart comparing Sarvam-105B, Gemma-4-31B-it, and post-trained Nemotron 3.5 Super VL across five Indic-language benchmarks. Super VL leads in all of them, most clearly in Indic FrontierMath with 58 versus 27 and 22 points. — 使用 Indic 数据集微调后，Super VL 在印度语言基准测试中击败了 Sarvam-105B 等更大的专用模型。| 图片：Nvidia

开放模型销售 Nvidia 硬件

Super VL 可在 DGX Spark、DGX Station、RTX PRO 和 RTX 等桌面系统上运行，也可在边缘设备中的 Jetson 模块以及数据中心和云中运行。通过 Nvidia NIM，企业可以将该模型作为即用型微服务获得，并配有经过验证的配置和支持，计划每两周更新一次。权重可在 Hugging Face 上获取，适用于Nemotron 3.5 Super VL 120B-A12B和Nemotron 3.5 Bolt 74B-A9B 24GB。

Nvidia 公开这些模型，但针对自家产品进行调优，从数据中心服务器到工作站。任何想要充分发挥 Nemotron 性能的人最终都会购买 Nvidia 硬件。

Nvidia 开源模型背后的策略是利己的。越多公司运行自己的开源模型，对计算硬件的需求就越大，而在可预见的未来，开源模型很可能仍会针对 Nvidia 进行优化。与此同时，Meta、Google、Anthropic 和 OpenAI 等公司正在打造自己的芯片，并针对这些芯片优化模型。为了进一步推动开源 AI 模型的普及，Nvidia 最近向 Hugging Face 投资了 129 亿美元，后者是开发和分享这些模型最重要的平台之一。

来源：The Decoder：AI News · the-decoder.com