arXiv cs.AI· Jiakai Xu, Tiancheng Ge, Tujie Guan, Yusheng Li, Rohan Timmaraju, Eugene Wu, Kostis Kaffes·· 2 天前AI 评分39
Probe-and-Resume：何时以及如何评估智能体执行
Probe-and-Resume: When and How to Evaluate Agent Execution
AI 导读
针对终端类计算机使用环境中 MCTS 配置无法显著提升任务成功率的问题，研究者提出 Probe-and-Resume：仅在智能体自认为完成的节点调用 critic，并让其对当前与初始状态的 fork 拥有读、写、执行权限以探测隐藏状态。
正文 · AI 翻译
摘要：测试时搜索可以通过探索备选动作并使用评判器来选择有前景的分支，从而提升智能体的表现。我们在基于终端的计算机使用环境中研究这一方法，这类环境仅暴露大型底层状态的部分视图，我们发现所评估的蒙特卡洛树搜索（MCTS）配置并未显著提升任务成功率。我们识别出评判器表现不佳的两个原因：智能体的观测遗漏了评估所需的环境状态，且中间状态提供的关于轨迹是否会成功的证据有限。在中间状态，评判器对后续分支的排序仅略好于随机，而访问环境对此改善甚微。我们研究了何时调用评判器以及应赋予其何种访问权限来评估节点。我们的发现支持一种策略：仅在智能体认为已到达最终状态的节点调用评判器，而非在部分进展过程中调用。此外，该策略赋予评判器对计算机当前状态和初始状态分支的读、写和执行权限，使其能够探查并执行可能具有破坏性的操作，以揭示轨迹所遗漏的任何隐藏状态。我们将由此得到的设计称为 Probe-and-Resume：当智能体声称完成时，评判器探查其状态的一个分支，被拒绝的智能体则从停止处继续。在 Terminal-Bench 2.1 上，相较于使用传统评判器的 MCTS，这将成功率提升了 8.4 个百分点，并以不到一半的成本接近使用相同底层模型的 Codex CLI 智能体的成功率。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21088 [cs.AI] |
| （或本版本的 arXiv:2610.21088v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.21088 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Jiakai Xu [查看邮箱]
[v1]
2026年10月15日星期四 01:42:54 UTC（188 KB）
来源：arXiv cs.AI · arxiv.org