arXiv cs.AI· Tianyang Xu, Jing Gao·· 3 天前AI 评分26
审计失败归因：标签可预测性与评判模型行为
Auditing Failure Attribution: Label Predictability and Judge Behavior
AI 导读
针对失败归因基准中 LLM 评判模型可能依赖表面线索而非跨步骤核查的问题，研究者提出输入限制、线索跟随、残差准确率和聚合四项测试。在三个基准上，简单预测器即可匹敌或超越 GPT-4.1；在 Who&When Pro 系统中，仅读取单步推理的分类器能找出 95-100% 的故障步骤，而注入错误后微调评判模型虽领先 GPT-4.1 达 41 分，但加入任务推理后骤降 31-99 分。
正文 · AI 翻译
摘要：失败归因基准测试要求 LLM 评判者判断是哪一步或哪个智能体导致了失败。高分应意味着评判者将出错步骤与整个运行过程进行了核对（跨步骤检查）。然而，能够预测标注的虚假信号（表面线索）也可能产生高分。在本文中，我们提出四项测试，以区分检查与线索利用。输入限制测试询问部分输入能否预测标注。线索跟随测试检查移动线索是否会改变答案。残差准确率对仅凭线索的预测器失败之处进行评分。聚合测试询问失败组合或指标是否会改变排名。真实观察结果推动了这些测试：在三个基准测试上，简单预测器与 GPT-4.1 持平或更优。在两个 Who&When Pro 系统中，一个读取单步推理的分类器能找出 95-100% 的出错步骤，这推动了输入限制测试。在其中一个系统中，错误注入使出错步骤之后不再有推理；在其标签上微调的评判者比 GPT-4.1 高出 41 分。在该步骤之后添加与任务相关的推理会移动这一线索：微调评判者下降 31-99 分，但零样本评判者最多下降 9 分，这推动了线索跟随测试。在 Aegis 上，指责每个智能体在 micro-F1 上与 GPT-4.1 持平，但在精确集合准确率上落后 19 分，这推动了聚合测试。我们建议在开发失败归因基准测试时报告这些测试。
| Comments: | 26 pages |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.17747 [cs.CL] |
| （或 arXiv:2610.17747v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17747 arXiv 颁发的 DOI 经由 DataCite（待注册） |
Submission history
来自：Tianyang Xu [查看电子邮件]
[v1]
2026年10月13日星期二 05:26:33 UTC（142 KB）
来源：arXiv cs.AI · arxiv.org