arXiv cs.CL· Hadi Mohammadi·· 11 小时前AI 评分42
trajectory-judge：仅看结果的 LLM 评审在智能体轨迹上漏掉了什么
trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories
AI 导读
研究提出用配对判别（paired discrimination）检验 LLM 评审对智能体轨迹的故障检测能力，即故障运行上的标记率减去对应干净运行的标记率。在含 400 条精确标注轨迹的确定性客服测试台上，仅看请求与最终回复的 14B 评审对四类不改变回复的故障报告 34%–76% 召回，但其输入与干净运行相同，配对判别为零。
正文 · AI 翻译
摘要：对 LLM 智能体轨迹评判器进行直接测试，会向正确的运行中注入故障，并按故障类型或按故障是否破坏了环境结果（显性）来报告召回率。这种召回率可能会让评判器获得它并不具备的检测能力；配对判别力，即它对故障的标记率减去它对产生这些故障的干净运行的标记率，揭示了这一点。我们的测试平台是一个确定性的支持台，配有脚本化 oracle 和单步故障注入器，能精确标注全部 400 条轨迹。一个仅看到请求和最终回复的 14B 评判器，在四种不改变回复的故障类型上得分为 34% 到 76% 的召回率。此时它的输入与干净运行相同，因此其配对判别力为零，而该召回率就是它在干净运行上的标记率。按结果是否存活来拆分并不能解决这个问题：其显性召回率为 84%，配对值为 +0.393；其隐性召回率为 45%，配对值为 +0.048，全部来自两种会改变回复的故障类型。当被要求检查每一步时，同一模型标记了这四种类型的每一个故障，并且在 100 次干净运行中标记了 0 次（95% CI 最高为 3.6%）。它并不能可靠地检查回复：在四个虚构的承诺中，它每次都标记其中一个，而另外三个在 42 个故障中只被标记一次。当展示每一步但只询问回复时，它在回复未改变的故障上仍达到配对 +0.69，而在被要求检查每一步时为 +1.00。我们建议报告相对于干净父运行的配对判别力，并按故障是否到达评判器的输入以及结果是否存活进行拆分，并发布测试平台、原始判定和分析流水线。
| 评论： | 已被 NeurIPS 2026 Workshop 接收：Who Verifies the Agents? Toward Reliable Agent Development（海报）。Camera-ready 版本。22 页，5 张图，14 张表。代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2609.00038 [cs.CL] |
| （或此版本的 arXiv:2609.00038v4 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2609.00038 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hadi Mohammadi [查看电子邮件]
[v1]
2026 年 8 月 29 日星期六 10:14:05 UTC（72 KB）
[v2]
2026 年 10 月 2 日星期五 08:41:50 UTC（117 KB）
[v3]
2026 年 11 月 1 日星期日 17:54:12 UTC（118 KB）
[v4]
2026 年 11 月 3 日星期二 18:41:37 UTC（118 KB）
来源：arXiv cs.CL · arxiv.org