arXiv cs.AI· Chiming Duan, Tong Jia, Yingxi Chen, Minghua He, Lingzhe Zhang, Ying Li·· 12 小时前AI 评分40
LLM 智能体何时该介入？错误与自恢复的实证研究
When to Intervene? An Empirical Study of Errors and Self-Recovery in LLM Agents
AI 导读
研究者构建 ReInBench 数据集，含 1,259 条智能体轨迹和 1,403 个错误事件，覆盖计算机使用与 Web 任务，发现其中 725 个错误事件可自恢复且多在数步内完成。自恢复表现随执行 LLM 不同而异，并有助于应对后续同类错误和完成任务。基于此提出 ReCoF 预测错误能否自恢复，在 ReInBench 上 Macro-F1 较最强基线平均相对提升 9.02%。
正文 · AI 翻译
摘要：LLM 智能体与 Web 服务交互以代表用户执行任务。这些交互过程中的错误可能中断执行并阻碍任务完成，从而需要外部干预。然而，智能体可能通过继续执行而自行恢复，这引出了何时干预、何时等待自行恢复的问题。我们针对 LLM 智能体中的错误与自行恢复开展了一项实证研究。我们构建了 ReInBench，这是一个包含计算机使用与 Web 任务中 1,259 条智能体轨迹和 1,403 个错误事件的数据集。我们的研究考察了智能体自行恢复的频率与速度、自行恢复与后续执行及任务完成之间的关系，以及错误发生时能否预测自行恢复。我们发现，725 个错误事件能够自行恢复，且往往在数步之内完成，不同执行 LLM 的自行恢复表现存在差异。自行恢复还能帮助智能体从后续同类型错误中恢复，并支持整体任务完成。因此，干预应优先针对不太可能自行恢复的错误，而在自行恢复可能性较高时允许智能体继续执行。基于这些实证发现，我们提出了 ReCoF，一种预测错误是否会自行恢复从而判断是否需要额外干预的方法。在 ReInBench 上，ReCoF 的 Macro-F1 相较最强基线平均相对提升 9.02%。我们的代码和数据可在 此 https URL 获取。
| 评论： | 11 页，8 幅图，2 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.36471 [cs.AI] |
| （或 arXiv:2610.36471v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.36471 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chiming Duan [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 01:26:53 UTC（4,063 KB）
来源：arXiv cs.AI · arxiv.org