跳到正文
arXiv cs.AI· Xi Qin, Isabel Kurth, Xin Cui, Elin Park, Alexander Schaefer, Yaad Oren·· 4 小时前AI 评分47

终端智能体训练为何停滞:数据生成与验证挑战解析

When Terminal-Agent Training Stalls: Demystifying Data Generation and Verification Challenge

AI 导读

一项研究用自动生成容器化终端任务及可执行验证器的流水线,拆解了任务生成与实时环境评估中的失败模式,区分结构有效性、验证器忠实度、策略可解性与基础设施可靠性四项要求。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:自动化终端智能体训练依赖生成的环境和验证器,将开放式交互转化为奖励。然而,一个可运行的 Docker 镜像和可执行的测试套件并不能保证所产生的奖励是忠实的、有信息量的,甚至不能保证它可归因于智能体的行为。我们提出了一条流水线,用于生成容器化的终端任务及其可执行验证器,并用它来揭示任务生成和实时环境评估中的失败模式。我们的分析区分了四个常被混为一谈的要求:结构有效性、验证器忠实性、策略可解性和基础设施可靠性。在 Qwen3.5-9B 的 GRPO 训练中,它在 20 步内就在一个相对容易的数据集上过拟合。相反,在受控的 Qwen3.5-9B 对比中,加入困难任务使平均 rollout pass@2 从 81.3% 降至 20.6%,在不改变训练配置的情况下恢复了有信息量的失败。我们进一步识别出近重复任务生成、不完整的防捷径保护措施、Dockerfile 失败、异步 pass@k 偏差以及并发引发的环境错误,作为对测量的不同威胁。这些发现应推动社区构建一个终端智能体专用的评估框架,将结构检查和基于 rollout 的可解性与广泛的验证器审计相结合。
主题: 人工智能(cs.AI)
引用为: arXiv:2610.02405 [cs.AI]
  (或 arXiv:2610.02405v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.02405

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Xi Qin [查看电子邮件]
[v1] 2026年10月1日星期四 19:32:44 UTC(81 KB)
[v2] 2026年11月16日星期一 19:59:00 UTC(82 KB)

来源:arXiv cs.AI · arxiv.org