从自置信到统计精度：用直接审计与 LLM 辅助审计扩展人在回路评估
From Self-Confidence to Statistical Accuracy: Scaling Human-in-the-Loop Evaluation with Direct and LLM-Assisted Auditing
该论文提出统一统计框架，用于在部分人工核验下评估 LLM 与 MLLM：直接审计路线采用置信度分层抽样，无需校准置信度即可还原总体准确率；LLM-as-a-judge 路线则以敏感度和假阳性率建模，给出带校准不确定性的误差校正估计。
作者：Harine Choi (1)，Chenchen Kuai (2)，Zihao Li (3)，Jiwan Jiang (2)，Yunlong Zhang (2)，Zhiwen Fan (4)，Zhengzhong Tu (5)，Yang Zhou (2)（(1) Texas A&M Transportation Institute, Texas A&M University System，(2) Zachry Department of Civil and Environmental Engineering, Texas A&M University，(3) Department of Civil, Construction and Environmental Engineering, Marquette University，(4) Department of Electrical and Computer Engineering, Texas A&M University，(5) Department of Computer Science and Engineering, Texas A&M University）
摘要：对于大语言模型（LLM）和多模态大语言模型（MLLM），模型自报的置信度往往校准不佳，但它仍可能有助于高效评估。与此同时，LLM 作为评判者提供了一种可扩展的替代方案，可替代直接人工审核，但其实际收益取决于校准质量和推理成本。
本文针对不同采样策略下的两种评估路径，建立了一个统一的统计框架。对于直接审核，采用置信度分层采样，从部分验证的输出中恢复总体准确率，而无需校准后的置信度。文中刻画了有限样本不确定性，并分析了高度不均衡的置信度分层如何影响审核效率和标签分配。对于评判者辅助评估，通过灵敏度和假阳性率对评判者建模，得到带有校准不确定性的误差校正估计量。随后通过人工标签和总成本效率边界对两种路径进行比较。
在 MMLU-Pro 和 MMMU-Pro 上的实验表明，校准不佳的自报置信度仍可支持统计上有效的分层审核。在高度不均衡的置信度分布下，与每层等量分配相比，比例分配可显著降低估计误差。对于评判者辅助评估，只有一小部分目标—验证者对满足理想化的人工标签效率条件，且自动推理成本可能进一步限制潜在节省。这些发现阐明了置信度引导审核和自动验证在何种统计与经济条件下有用。
| 评论： | 21 页，8 幅图。复现工件可在 此 https URL 获取 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35698 [cs.CL] |
| （或 arXiv:2610.35698v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35698 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Harine Choi [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 16:25:11 UTC（592 KB）
来源：arXiv cs.CL · arxiv.org