arXiv cs.CL· Hamish Ivison, Junjie Oscar Yin, Rulin Shao, Teng Xiao, Nathan Lambert, Hannaneh Hajishirzi·· 11 小时前AI 评分58
TMax：面向终端智能体的简单强化学习训练配方
Tmax: A simple recipe for terminal agents
AI 导读
TMax 是一套开源的终端智能体强化学习训练配方，仅用 9B 参数就在 Terminal-Bench 2.0 上取得 33%，超过此前更大模型的表现。该配方先用一套新分类法生成数据，结合难度控制、人物设定和验证器多样化，低成本产出大量终端环境用于 RL 和 SFT 训练，再以仅依赖结果、小幅调整稳定性的方式训练开放权重模型。方法适用于 2B 到 27B 的多个模型家族，作者开源了数据、模型和代码。
正文 · AI 翻译
摘要：使用终端的智能体已迅速成为语言模型（LM）一个受欢迎且重要的下游应用。尽管它们很普遍，但由于基准测试困难、缺乏数据以及缺乏简单的基线配方，相对较少的学术工作考察了这些模型的基于强化学习的训练。我们提出 TMax，一个面向终端智能体的开放强化学习配方，使小型开放模型更接近前沿。虽然简单，我们的配方仅用 9B 参数就在 Terminal-Bench 2.0 上达到 33%，优于先前工作中大得多的模型。我们的配方首先涉及使用一种新颖的分类法生成数据，结合难度控制、人物设定和验证器多样化，这使我们能够廉价地为强化学习和 SFT 训练生成大量终端环境。然后，我们使用我们的数据通过强化学习训练开放权重模型，采用一个简单的、仅基于结果的配方，并做小幅调整以提高稳定性。我们的配方适用于 2B 到 27B 的模型以及跨模型系列，在较小规模上主导了开放终端智能体性能的帕累托曲线。我们在 此 https URL 发布我们的数据、模型和代码，作为未来终端智能体开放学术工作的强基线。
| 评论： | 预印本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.23321 [cs.CL] |
| （或此版本的 arXiv:2606.23321v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2606.23321 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hamish Ivison [查看电子邮件]
[v1]
2026年6月22日星期一 13:32:52 UTC（3,023 KB）
[v2]
2026年11月2日星期一 02:20:09 UTC（3,079 KB）
来源：arXiv cs.CL · arxiv.org