arXiv cs.MA· Alessandro Rozza, Davide Mambelli, Steven Motta, Juri Taresch·· 2 天前AI 评分26
语言模型集成如何无标签估计可靠性：陪审团而非选民
A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models
AI 导读
研究者提出将语言模型集成视为陪审团，通过专家间一致与分歧模式，用EM算法在无标签条件下估计各专家可靠性，其决策规则等价于对专家答案分布的log-odds加权线性评分。在1560题基准上，9个最大3B参数的专家集成表现与使用标签拟合权重的融合规则相当，监督未带来统计显著优势，同时优于匹配自洽性的最佳单模型和最强的无标签替代方案。
正文 · AI 翻译
摘要：语言模型的集成是一个陪审团，而不是一个选民群体。答案是来自可靠性未知的证人的证词，问题不在于多数人说了什么，而在于谁可信。大多数集成方法为每个专家分配一个固定的声誉，通常是从标签中学习得到的。我们问，能否改为从专家之间一致与不一致的模式中推断出这一声誉。我们将专家建模为一个陪审团：每个问题都有一个潜在的正确答案，每个专家以未知的可靠性报告它，而这些可靠性仅从未标注的答案配置中通过期望最大化（EM）估计得到。我们表明，其决策规则可归结为对专家答案分布的 log-odds 加权线性评分。改变的不是陪审团如何投票，而是它如何学会信任谁。在一个 1560 个问题的基准上，由多达 3B 参数的九个专家组成的陪审团，其表现与使用标签拟合权重的同一融合规则相当，表明监督并未带来统计上显著的优势。相反，它在完整基准上优于匹配自洽性的最佳单一模型以及最强的无标签替代方案。
| 评论： | 35 页，4 幅图，13 张表，包括附录 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.21085 [cs.CL] |
| （或 arXiv:2610.21085v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21085 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Steven Motta [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 01:40:04 UTC（152 KB）
来源：arXiv cs.MA · arxiv.org