arXiv cs.AI· Bingyu Shen, Jiaqi Tang, Lan Wei, Yi Sheng, J. Jenny Li, Boyang Li·· 3 天前AI 评分30
可执行前缀价值：定位 LLM 智能体失败步骤的新方法
Executable Prefix Values for Locating Agent Failures
AI 导读
研究提出用可执行前缀价值 V(h_t) 定位 LLM 智能体失败点，在 150 个 SWE-bench Verified 任务上为 47 和 60 条失败轨迹构建成功概率曲线并标定不可逆点（PNR）。
正文 · AI 翻译
摘要：针对 LLM 智能体调试的研究，将人类或 LLM 评判者标记的“第一个错误”视为轨迹失败位置的真实基准。我们追问这类标签指向的是原因还是症状，并使这一区分可执行：我们从失败轨迹重建的中间状态重新启动智能体，估计其前缀价值 V(h_t)，即从每一步成功的概率，并给出失败的一个经认证的不可返回点（PNR）。在 150 个 SWE-bench Verified 任务上，使用两个冻结的开源权重智能体，我们为 47 条和 60 条失败轨迹构建了此类曲线，并在 Traverse 评分标准下探查了由四个前沿评判者标记的每一步。我们发现，这些标签并未标记出控制器所需的内容。不同来源的评判者仅在 21/57 的情况下对确切步骤达成一致，而最新的评判者在 8/10 和 10/10 的成功运行中标记了错误。对于 66% 的标签，智能体的成功概率在标记步骤处并未下降；只有 7/188 的答案指出了决定性步骤。从测得的重启点重新启动，可将离线预期成功率从 0.44 提升至 0.57，真实重启也证实了这一优势，而从评判者的标签处重启则没有优势（-0.08 至 -0.03）。我们发布了代码、曲线和标签。
| 评论： | 46 页，12 幅图，60 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.17633 [cs.AI] |
| （或 arXiv:2610.17633v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17633 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Bingyu Shen [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 03:00:35 UTC（661 KB）
来源：arXiv cs.AI · arxiv.org