研究提出配对判别指标评估Agent轨迹LLM裁判
热点事件持续更新
研究提出配对判别指标评估Agent轨迹LLM裁判
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Hadi Mohammadi 等人提出用“配对判别”检验 LLM 评审对智能体轨迹的故障检测能力，即故障运行上的标记率减去对应干净运行的标记率，并发布测试床、原始判定数据和分析流程。 在含 400 条精确标注轨迹的确定性客服测试台上，仅看请求与最终回复的 14B 评审对四类不改变回复的故障报告 34%–76% 召回，但其输入与干净运行相同，配对判别为零。作者据此建议按故障是否进入评审输入、结果是否存活分别报告配对判别。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 13:00
trajectory-judge：仅看结果的 LLM 评审在智能体轨迹上漏掉了什么报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv cs.CLtrajectory-judge：仅看结果的 LLM 评审在智能体轨迹上漏掉了什么
研究提出用配对判别（paired discrimination）检验 LLM 评审对智能体轨迹的故障检测能力，即故障运行上的标记率减去对应干净运行的标记率。在含 400 条精确标注轨迹的确定性客服测试台上，仅看请求与最终回复的 14B 评审对四类不改变回复的故障报告 34%–76% 召回，但其输入与干净运行相同，配对判别为零。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。