arXiv cs.CL· Alicia Guerra, Jiaming Qu, Yibo Hu·· 11 小时前AI 评分37
评审者也是实验的一部分：审计 LLM 评审对同伴上下文的敏感性
The Judge is Part of the Experiment: Auditing Peer Context Sensitivity in LLM-Based Evaluation
AI 导读
一项控制实验发现，LLM 评审在评估多智能体系统时，同伴上下文不仅会改变智能体给出的答案，也会改变同一答案的评分，且不同评审的反应方向相反。研究覆盖 3 个 benchmark、4 个开源权重模型作为智能体和 6 个评审，错误答案的同伴上下文对智能体的误导大于正确答案的帮助，评审在缺少正确答案时难以区分已知正确与已知错误的答案。
正文 · AI 翻译
摘要：基于大语言模型（LLM）的评审器正越来越多地被用于评估 AI 系统。一个尚未被充分探索的领域是将这些评审器应用于多智能体系统，在这类系统中，评审器可能会看到最终答案背后的交互过程。这些交互（我们称之为同伴上下文）会以两种方式影响评估：（1）它们可能改变多智能体系统产出的答案，因为某个智能体可能受到其他智能体的影响；（2）它们可能改变评审器对同一答案的评估方式，具体取决于评审器是否看到这些交互。在本文中，我们通过一项受控实验将这两种效应区分开来。我们首先让一个智能体回答一个问题，然后在看到同伴回答后再次作答。接着，我们提示评审器在提供和不提供同伴上下文的情况下对同一最终答案进行评分。最后，我们检验评审器的评分是否构成对答案质量的有效度量。在三个基准、四个作为智能体的开放权重 LLM 以及六名评审器上，我们发现同伴上下文不仅会改变答案，还会改变对同一答案的评判方式，而且评审器对其反应的方向相反。此外，为错误答案提供同伴上下文对智能体的误导程度，大于正确同伴对它们的帮助；在没有正确答案的情况下，评审器难以区分已知正确与已知错误的答案——而一个拟合良好的统计模型并不会揭示这一问题。我们的结果表明，即使在评估同一答案时，评审器的设置方式也会以不同方式改变结论。因此，我们呼吁评估工作应报告每名评审器所看到的内容、记录每名评审器的详细结果，并验证评分量表。这些做法是朝着负责任地使用基于 LLM 的评审器迈出的重要一步。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.04463 [cs.CL] |
| （或 arXiv:2608.04463v3 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2608.04463 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Alicia Guerra [查看邮箱]
[v1]
2026年8月5日 星期三 05:38:34 UTC（205 KB）
[v2]
2026年8月13日 星期四 17:18:31 UTC（205 KB）
[v3]
2026年11月4日 星期三 20:41:21 UTC（308 KB）
来源：arXiv cs.CL · arxiv.org