arXiv cs.AI· Sida I. Wang·· 3 天前AI 评分23
如何测量 LLM 评测中的所有噪声
Measuring all the noises of LLM Evals
AI 导读
研究定义并测量了 LLM 评测中的三类噪声：同一问题生成不同答案的预测噪声、采样问题的数据噪声，以及依据总方差定律合并的总噪声。作者提出 all-pairs comparison 方法，对 LLM 所有配对做成对比较，基于数百万条问题级预测测量各噪声分量。结果显示多数评测在所有模型对上呈现高度可预测的总噪声水平，且成对预测噪声通常大于成对数据噪声，通过平均降低预测噪声可显著提升统计功效。
正文 · AI 翻译
摘要：要将成熟的统计方法有效应用于 LLM 评估，需要考虑模型相关性和预测噪声。主流评估往往忽略数据噪声、统计功效低，或做出不必要的权衡。我们定义并测量三种噪声：1）预测噪声，即对给定问题生成不同答案所产生的噪声；2）数据噪声，即抽样问题所产生的噪声；3）根据总方差定律，二者合并后的总噪声。为强调相对比较并提升统计功效，我们提出 \emph{全配对比较}，即将配对比较应用于所有 LLM 配对，并基于众多评估和设置下数百万条问题级预测来测量所有噪声成分，从而揭示出清晰趋势。首先，大多数评估在所有模型配对上表现出一种特征鲜明且高度可预测的总噪声水平。其次，配对预测噪声通常超过配对数据噪声，这意味着通过平均来降低预测噪声可以显著提升统计功效。通过同时测量所有噪声，我们可以在具体情境中评估评估结果，并做出更好的实证决策。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（stat.ML） |
| 引用为： | arXiv:2512.21326 [cs.LG] |
| （或 arXiv:2512.21326v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.21326 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Sida I. Wang [查看电子邮件]
[v1]
2025年12月24日星期三 18:54:37 UTC（2,926 KB）
[v2]
2026年3月29日星期日 00:57:41 UTC（2,938 KB）
[v3]
2026年10月13日星期二 04:11:28 UTC（3,942 KB）
来源：arXiv cs.AI · arxiv.org