arXiv cs.AI· Yanki Margalit, Nurit Cohen-Inger, Erni Avram, Ran Taig, Seffi Cohen, Oded Margalit·· 11 小时前AI 评分34
Agents-as-Peers：将 LLM 评估变为多智能体同行评审的偏差控制协议
Agents-as-Peers: Bias-Controlled LLM Evaluation as Multi-Agent Peer Assessment
AI 导读
研究者提出 Agents-as-Peers 分布式评估协议，让每个 LLM 智能体同时生成任务、回答共享任务集并评审同伴答案，且不设特权评审者、排除自评。在 12 个 LLM、420 道智能体生成问题的实例中，每种评审机制聚合 55,440 条非自评同行评审。
正文 · AI 翻译
摘要：大语言模型（LLM）评估通常依赖固定的人工编写基准或集中式的人类/模型评判者。固定基准会随时间过时并进入模型训练语料，而集中式评判者会引入自身的评分偏好。
我们将 LLM 评估视为一个多智能体同行评估问题，并提出 Agents-as-Peers，一种分布式评估协议，其中每个智能体生成任务、回答共享任务集，并评判同行的答案，不存在特权评估者。
自评被排除在排名之外，评判在受控的身份与呈现机制下重复进行，从而使自我偏差、身份效应、呈现位置敏感性和评判者严厉程度被测量出来，而非隐含存在。
在一个包含 12 个 LLM 和 420 个智能体生成问题的实例中，Agents-as-Peers 在每种机制下聚合了 55,440 条非自身同行评判。
大多数智能体给自己的答案打分高于同行评判者给出的分数；可见身份会改变部分智能体的分数；第一个固定答案位置对应的分数比打乱基线高 0.39 分；评判者的严厉程度差异显著。
在有标注的基准上，同行评分与准确率在 TruthfulQA（Pearson r=0.904）和 GSM8K（r=0.873）上高度一致。在 TruthfulQA 上，同行评分相关性显著高于自评分相关性（r=0.538）。
基准重叠筛查和条目级人工审核进一步刻画了内生任务集。
这些结果支持将 Agents-as-Peers 作为一种队列相对测量协议，其排名与塑造该排名的偏差和评分者效应一同报告。
代码与数据集：此 https URL
| 评论： | PeerRank 2.0 版 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2602.02589 [cs.AI] |
| （或 arXiv:2602.02589v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.02589 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nurit Cohen Inger [查看邮箱]
[v1]
2026 年 2 月 1 日周日 06:01:28 UTC（1,765 KB）
[v2]
2026 年 10 月 20 日周二 07:13:23 UTC（824 KB）
来源：arXiv cs.AI · arxiv.org