NVIDIA 发布开源小模型 Nemotron 3.5 Bolt E4B，面向本地语音助手与游戏角色
NVIDIA 发布开源小模型 Nemotron 3.5 Bolt E4B 4GB，面向本地语音助手、游戏角色和机器人
NVIDIA 发布开源小语言模型 Nemotron 3.5 Bolt E4B，基于 Google 的 Gemma 4 E4B 仅用强化学习做后训练、不做 SFT，面向 RTX、Jetson 和 DGX Spark 上的语音助手、游戏 NPC 与机器人。
MarkTechPost· Asif Razzaq·2026-10-24 11:56· 2 小时前AI 评分66
NVIDIA 发布 Nemotron 3.5 Bolt E4B 4GB：一款面向本地语音助手、游戏角色和机器人的开源小语言模型
AI 导读
NVIDIA 发布开源小语言模型 Nemotron 3.5 Bolt E4B 4GB，基于 Google 的 Gemma 4 E4B 仅用强化学习做后训练、不用 SFT，面向 RTX、Jetson 和 DGX Spark 等本地硬件上的语音助手、游戏 NPC 和机器人。
正文 · 原文
NVIDIA 刚刚发布了 Nemotron 3.5 Bolt E4B 4GB，这是一款面向快速对话智能体的开源小语言模型。它面向在 RTX、Jetson 和 Spark 硬件上本地运行的语音助手、游戏 NPC 和机器人界面。该模型基于 Google 的 Gemma 4 E4B，仅使用强化学习进行后训练。对开发者而言，这意味着约 4GB 显存即可实现智能体行为，从而为语音和视觉模型留出空间。
TL;DR
- 规模： 总参数 8B，有效参数 4B，上下文 64K。
- 运行于： GeForce RTX、Jetson、RTX Spark 和 DGX Spark。在 NVIDIA 测试中，Q4_K_M 版本在 RTX 上占用 3.1 至 4.3 GB 显存。
- 性能： 在针对 Gemma 4 E4B、Qwen3.5-4B 和 Nemotron 3 Nano 4B 的 21 项基准测试中，有 15 项得分最高（NVIDIA 实测）。
- 最佳： IHEval 84.8，而 Gemma 4 E4B 为 67.0，Qwen3.5-4B 为 60.6。
- 最差： Tau2-Bench 55.1，落后 Qwen3.5-4B 的 75.1 约 20 分。
什么是 Nemotron 3.5 Bolt E4B？
Nemotron 3.5 Bolt E4B 是 NVIDIA 推出的一款小语言模型，用于驱动本地对话智能体。它将自然对话与多轮工具调用相结合。NVIDIA 列出了 3 类目标工作负载：设备和语音助手、交互式角色，以及嵌入式或工业智能体。
研究报告展示了一台运行在 Jetson Orin Nano 8GB 上的 Reachy Mini 机器人。在该演示中，Cosmos 3 Edge 负责视觉，Bolt 负责语音回复和工具调用。NVIDIA 团队还将 Bolt 称为面向 NVIDIA ACE 游戏角色的第三代小模型。
发布博文中的核心特性：
- 多轮工具使用，并提供异步工具调用的指导。
- 一个
conversational_mode标志，用于生成简短、适合语音的回复。 - 可配置的推理，以及用于限制延迟的运行时思考预算。
- 64K 上下文，用于历史记录、工具定义和应用状态。
Bolt E4B 是如何训练的？
NVIDIA 完全跳过了监督微调。根据研究报告，SFT 改善了工具调用，但损害了 Gemma 的对话质量和简洁性。因此，研究团队通过 NeMo-RL 和 NeMo-Gym 使用了 RLVR 和 RLHF。
每个训练样本都在推理和非推理两种模式下运行。每个批次保持非推理样本与推理样本 2:1 的比例。GenRM 环境中的长度惩罚阻止了答案在训练过程中变长。数据集和完整配方均已公开。
在部署方面，NVIDIA 使用重要性矩阵校准将 BF16 检查点量化为 Q4_K_M。校准使用了约 100 万 token 的 RL rollout。此次发布还附带了一个用于投机解码的 DFlash drafter。在 RTX 5070 上，搭配 DFlash 的 Bolt 达到 272.6 tokens/s。Gemma 4 E4B 搭配其 MTP drafter 达到 225.9 tokens/s，因此 Bolt 快 1.21 倍。
Nemotron 3.5 Bolt E4B 在基准测试中表现如何？
NVIDIA 将 21 项基准测试归入 5 个能力领域。此处所有分数均为 BF16，由 NVIDIA 在其自有的 NeMo-Gym 测试框架中测得。在推理模式下，Bolt 在 21 行中领先 15 行。
NVIDIA 还报告称，其平均分数比 Nemotron 3 Nano 4B 高出约 40%。在启用推理的对比中，它声称输出 token 最多可减少 80%。另外，根据 一条 X 帖子，Scale Labs 在 MultiChallenge 上将 Bolt 列为小型模型中的第一名，得分为 56.03%。
Bolt 并非在所有方面都胜出。Qwen3.5-4B 在 Tau2-Bench（75.1 对 55.1）和 RULER 64K（95.1 对 87.0）上领先。它还在 LongBench v2（59.9 对 50.5）和 BFCL-v3（70.9 对 68.5）上领先。Gemma 4 E4B 在 EQ-Bench v3 上保持微弱优势（41.1 对 39.4）。
Bolt E4B 与其他小型模型相比如何？
| 特性 | Nemotron 3.5 Bolt E4B | Gemma 4 E4B | Qwen3.5-4B | Nemotron 3 Nano 4B |
|---|---|---|---|---|
| 参数 | 总计 8B，有效 4B | 含嵌入为 8B，有效 4.5B | 4B（语言模型） | 3.97B |
| 架构 | Gemma 4 E4B，经 RL 后训练 | 带逐层嵌入的稠密模型 | 门控 DeltaNet + 注意力混合 | Mamba-2 + Transformer 混合 |
| 上下文 | 64K | 128K | 262K | 262K |
| 许可证 | OpenMDW-1.1 | Apache 2.0 | Apache 2.0 | NVIDIA Nemotron 开放模型许可证 |
| 输入 | 文本（卡片）；NIM 还接受图像和音频 | 文本、图像、音频 | 文本、图像、视频 | 文本 |
| IHEval* | 84.8 | 67.0 | 60.6 | 51.3 |
| MultiChallenge* | 53.1 | 42.1 | 51.8 | 35.3 |
| Tau2-Bench* | 55.1 | 38.5 | 75.1 | 29.2 |
| RULER 64K* | 87.0 | 86.5 | 95.1 | 91.5 |
| 可用性 | 开放权重；在 build.nvidia.com 上提供免费 API | 开放权重 | 开放权重 | 开放权重 |
*基准测试行为 NVIDIA 测得的 BF16 分数，来自 Bolt 发布帖。厂商报告的分数有所不同。
它运行在什么硬件上？
NVIDIA 使用 llama.cpp 在批大小为 1 的情况下测量了 Q4_K_M 构建。以下数据使用 3K 输入和 50 个输出 token。
| 设备 | 显存（GB） | 首 token 时间（ms） | Tokens/s |
|---|---|---|---|
| RTX 5070（12GB） | 3.5 | 548 | 133.4 |
| RTX Spark（32GB） | 3.1 | 930 | 67.0 |
| Jetson AGX Orin（32GB） | 4.2 | 3,687 | 24.0 |
| Jetson Orin Nano（8GB） | 4.2 | 5,785 | 15.5 |
“4GB”标签描述的是目标内存范围，而非文件大小。Hugging Face 上的 Q4_K_M GGUF 为 6.18 GB。
Bolt 可在 Hugging Face、Ollama、LM Studio、Unsloth 和 Jetson AI Lab 上获取。它还以 NVIDIA NIM 形式提供，并通过 In-Game Inferencing SDK 提供。
关键要点
- Gemma 4 E4B，由 NVIDIA 仅用 RL 后训练，无 SFT。
- 在 NVIDIA 自有测试框架中，于 21 项智能体基准测试中领先 15 项。
- IHEval 84.8 是突出亮点；Tau2-Bench 55.1 是薄弱环节。
- “4GB”是显存目标；GGUF 文件为 6.18 GB。
- 开放权重、数据和配方，采用 OpenMDW-1.1。
查看技术报告、GGUF 模型、BF16 模型和 训练配方。所有功劳归于本项目的研究人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅 我们的新闻通讯。等等！你在 Telegram 上吗？ 现在你也可以在 Telegram 上加入我们。
需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？ 联系我们
文章 NVIDIA 发布 Nemotron 3.5 Bolt E4B 4GB：一款面向本地语音智能体、游戏角色和机器人的开放小型语言模型 首次出现在 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news