arXiv cs.AI· Byeonghun Bang, Sangwoo Park, Jinheon Baek, Kangsan Kim, Youngwan Lee, Sung Ju Hwang·· 11 小时前AI 评分40
ReTrace：揭示计算机使用智能体的恢复行为
Lost in Recovery: Demystifying Recovery Behavior of Computer-Use Agents via Goal-Oriented Action Replay
AI 导读
研究者提出 ReTrace 评估框架，通过目标导向动作回放系统研究计算机使用智能体的恢复行为，并形式化定义“转移一致性恢复”标准。研究发现，理想恢复能释放模型潜在的任务完成能力，但当前智能体未能利用这一能力，而准确的基于模型的恢复可带来可测量的端到端收益。代码与数据集已公开。
正文 · AI 翻译
摘要：大型（视觉）语言模型的最新进展催生了可通过细粒度键盘和鼠标操作自动化数字工作流的计算机使用智能体。然而，此类智能体在长时程场景中仍然脆弱，错误会不断累积，已执行的操作会留下非预期的副作用，因此从失败中恢复的能力至关重要。然而，现有补救措施仍不充分：在专有环境中重置环境不可行，动作重放在长时程下代价过高，基于 API 的回滚仅限于 Web 环境，而基于模型的恢复在很大程度上仍未被探索。为填补这一空白，我们提出 ReTrace，一个可扩展的评估框架，用于系统研究计算机使用智能体的恢复行为。我们形式化了转移一致性恢复：从恢复状态和目标状态出发的相同下游动作必须产生相同结果。我们通过受控错误注入后的目标导向动作重放来落实这一标准。借助 ReTrace，我们首次对基于模型的自主恢复进行了系统研究，揭示出：(i) 理想恢复可以释放模型潜在的任务完成能力，(ii) 当前计算机使用智能体未能利用其潜在的恢复能力，(iii) 准确的基于模型的恢复可带来可测量的端到端收益。这些发现共同确立了恢复作为构建可靠计算机使用智能体的一项基础能力。我们的代码和数据集可在 此 https URL 获取。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.27954 [cs.AI] |
| （或 arXiv:2610.27954v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27954 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Byeonghun Bang [查看邮箱]
[v1]
2026年10月20日星期二 09:59:12 UTC（8,653 KB）
来源：arXiv cs.AI · arxiv.org