arXiv cs.AI· Jeremy Canale, Fabien Soulis·· 1 天前AI 评分44
ReplayRCA：用反事实重放评测智能体失败的事后诊断与实时监督
ReplayRCA: Measuring Post-hoc Diagnosis and Live Oversight of Agent Failures by Counterfactual Replay
AI 导读
ReplayRCA 基准以“因果修复”分数评测智能体失败诊断：将环境恢复到出错步骤前，用诊断模型提出的动作替换原动作后让同一智能体继续，得分是续跑成功率减去配对安慰剂组的差值。
正文 · AI 翻译
摘要：当语言模型智能体在多步任务中失败时，另一个模型能否找到决定性错误并用单个动作修复它？我们提出 ReplayRCA，这是一个通过干预而非与标注一致来给此类诊断打分的基准：环境被恢复到所选步骤之前的状态，所提出的动作替换智能体自身的动作，然后同一智能体继续执行。该分数称为因果修复，等于继续执行的成功率减去配对安慰剂（通过同一机制重放智能体原始动作）的成功率。两个赛道共享这一协议：事后尸检，诊断者看到整个失败运行并被告知它失败了；实时监督，监督者观察运行展开，并可在不可逆动作之前干预一次，且不知道运行是否会失败。任务来自 OpsWorld，这是一个确定性的、程序化生成的后台办公环境，有六个难度级别，最后一级是多模态的（二维码、手写）。在 62 个校准的系统性失败上，13 个前沿模型中最好的（Grok 4.7）达到 +51.3 点的因果修复；前八名模型在统计上无法区分，两家最大供应商的旗舰模型分别排名第 8 和第 12，有 5 个项目没有任何模型修复。强迫一个强模型在最后一步干预会使其损失 17.1 点，因此基于标注的归因基准的最后一步捷径无法迁移。在 87 次运行上，两个最好的实时监督者在统计上并列，其中一个是小型开放权重模型（DeepSeek V4.1 Flash）；在事后诊断者中名列前茅的监督者（GPT-6.1 Sol）却是最弱的实时监督者（在相同运行上为 -14.5 点，p = 0.002），因此事后诊断性能可能无法很好地代表实时监督。环境和评估代码发布在 此 https URL。
| 评论： | 29 页，10 幅图，16 张表。代码：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41025 [cs.AI] |
| （或 arXiv:2610.41025v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41025 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fabien Soulis [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 22:11:00 UTC（415 KB）
来源：arXiv cs.AI · arxiv.org