arXiv cs.AI· HyunJoon Jung, William Na·· 3 天前AI 评分29
LLM 智能体评审的分数与覆盖度为何脱钩：一项基于 960 场会话的研究
Logarithmic Scores, Power-Law Discoveries: Disentangling Measurement from Coverage in Agent-Based Evaluation
AI 导读
研究通过 15 项任务、两组模型配对共 960 场会话发现，基于人格设定的 LLM 智能体评审在 Turing 式验证中与人类评分者难以区分。评审质量分数随评审团规模呈对数增长，而新问题发现量呈次线性幂律增长，分数饱和速度约为发现速度的两倍。这一脱钩源于评审团多样性：Big Five 人格条件让智能体探查不同质量维度，消融实验证实结构化人格设定而非简单提示词才是产生该缩放特性的必要条件。
正文 · AI 翻译
摘要：基于 LLM 的智能体评判者是评估对话式 AI 的一种新兴方法，但仍存在一个根本性的不确定问题：我们能否信任它们的评估？如果可以，需要多少个评判者？通过在 15 项任务中使用两对模型进行 960 次会话，我们表明，基于人格的智能体评判者在图灵式验证中产生的评估与人类评分者无法区分。随后我们识别出一种分数—覆盖度分离现象：质量分数随评审团规模呈对数增长，而独特问题发现量则遵循次线性幂律——两者都表现出收益递减，但分数的饱和速度大约是发现量的两倍。我们假设这反映了发现空间的幂律分布：关键问题由小型评审团首先发现，而边缘案例则需要逐步扩大的评审团，类似于生态学中的物种累积曲线。其机制可追溯至集成多样性——大五人格条件化使智能体探查不同的质量维度，专家评判者则充当对抗性探针，将发现推向发现分布的尾部。一项受控消融实验证实，要产生这些缩放特性，需要的是结构化的人格条件化，而非简单的提示。
| 评论： | 已被 COLM 2026 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；人机交互（cs.HC）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2604.00477 [cs.AI] |
| （或使用 arXiv:2604.00477v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2604.00477 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：HyunJoon Jung [查看电子邮件]
[v1]
2026 年 4 月 1 日星期三 04:44:21 UTC（22,089 KB）
[v2]
2026 年 10 月 10 日星期六 03:38:36 UTC（3,020 KB）
来源：arXiv cs.AI · arxiv.org