arXiv cs.CL· Runchu Tian, Zaid Khan, Zun Wang, Justin Chih-Yao Chen, Mohit Bansal·· 12 小时前AI 评分34
MiRL：用错误定向强化学习纠正终端智能体不当行为
MiRL: Error-Targeted Reinforcement Learning for Correcting Terminal Agent Misbehaviors
AI 导读
研究者提出 Misbehavior-driven RL（MiRL），先分析策略错误找出跨环境复现的“不当行为”，再从这些步骤启动 rollout 做强化学习，仅在通过测试且避免该行为时给予奖励。
正文 · AI 翻译
摘要：以错误为目标的学习提供了一种清晰可读的模型改进方式：识别模型的具体弱点，训练模型修复这些弱点，并检查弱点是否已被修复。我们研究如何将以错误为目标的学习应用于终端智能体，这类智能体通过与会话命令行交互来解决以自然语言指定的长时程任务。现有的以错误为目标的方法是为单轮任务设计的，而现有的智能体失败分析被用于评估和调试智能体，而非训练它们。我们提出错误行为驱动的强化学习（MiRL），它首先对策略的错误进行剖析，以找出可泛化的错误行为：即在许多环境中反复出现的某类错误步骤。随后，MiRL 用强化学习训练该策略，从这些错误行为发生的步骤开始展开 rollout，并且仅当 rollout 通过测试且避免该错误行为时才给予奖励。在 Qwen3.5-4B 上，八种错误行为占错误步骤的 52.1%。经 MiRL 训练后，该策略在未见过的前缀上重复所测错误行为的频率平均降低 43% 至 57%。MiRL 在 Terminal-Bench Lite 上优于 TMax-4B（51.8% 对 47.4%），在 Terminal-Bench 2.1 上与之持平（21.3% 对 20.6%），同时仅使用其 35% 的 rollout。这些结果表明，以错误为目标的学习可以应用于真实的长时程终端任务。
| 评论： | 20 页，14 幅图，5 张表。项目页面：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35697 [cs.LG] |
| （或 arXiv:2610.35697v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35697 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Runchu Tian [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 16:25:05 UTC（1,079 KB）
来源：arXiv cs.CL · arxiv.org