arXiv cs.AI· Sushant Mehta, Edwin Chen·· 4 小时前AI 评分49
在专家构建任务上做 RL 能给 Nemotron 3.5 Super 带来什么
What RL on Expert-Built Tasks Teaches Nemotron 3.5 Super
AI 导读
NVIDIA 用五个专家构建的任务数据集对 Nemotron 3.5 Super(120B 总参数、12B 激活参数)逐个做强化学习后训练,每次用 CISPO 在 Tinker 上训练全新的 rank-32 LoRA 适配器,无监督阶段。
正文 · AI 翻译
摘要:我们使用强化学习(RL)对 NVIDIA 的 Nemotron 3.5 Super(总参数 120B,激活参数 12B)进行后训练,所用数据为五个由专家构建的任务数据集,每次训练一个:真实世界软件工程、复杂约束、长时程工具使用、专业图表理解和企事业文档推理。每次运行都在 Tinker 上使用 CISPO 训练一个全新的 rank-32 LoRA 适配器,不设监督阶段,并将每个适配器与基础模型在相同任务、测试框架和设置下进行比较。在十二个主要基准上(八个由其他团队构建,四个由 Surge AI 构建),提升幅度从 IFBench 的 +4.5 分到 GDP_pdf 的 +13.8 分不等,后者从 10.4% 升至 24.2%;SWE-bench Pro V2 从 86.9% 升至 92.1%,Terminal-Bench 2.1 从 63.9% 升至 70.3%,MultiChallenge 从 58.3% 升至 66.6%,AutomationBench 从 14.8% 升至 27.5%,Chartography 从 39.4% 升至 50.6%。文档适配器在未使用 API 工具的情况下训练,在 AutomationBench 上也提升了 +8.0 分。在将各适配器新解决的任务上的尝试与基础模型的尝试并排阅读时,基础模型的失败反复呈现为几种模式,而每个适配器都更频繁地做到了基础模型遗漏的事情:工具使用适配器在行动前先找到数据和规则,编码适配器在 SWE-bench Pro V2 上编写自己的测试或临时文件,约束适配器将先前的轮次带入其回答,图表适配器用代码测量标记,文档适配器读取 AutomationBench 的电子表格。
| 评论: | 18 页,2 幅图,9 张表 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL);软件工程(cs.SE) |
| 引用为: | arXiv:2611.22161 [cs.LG] |
| (或 arXiv:2611.22161v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22161 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Sushant Mehta [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 03:48:06 UTC(77 KB)
来源:arXiv cs.AI · arxiv.org