arXiv cs.CL· Minghe Shen, Ananth Balashankar, Adam Fisch, David Madras, Miguel Rodrigues·· 10 小时前AI 评分31
面向有界劣质评判器的稳健 LLM 评估:约束最大似然方法
Robust LLM Evaluation with Boundedly Bad Judges: A Constrained Maximum Likelihood Approach
AI 导读
论文提出约束最大似然估计(CMLE),通过真实正例率与假正例率显式建模 LLM-as-a-judge 代理标签的误差,并用数据驱动的约束充当自适应正则化。在合成与真实 LLM 评估任务上,CMLE 的均方误差比非分层基线最多低约 9%,其分层变体 SCMLE 比最强基线最多低约 30%,低标签场景收益最大。
正文 · AI 翻译
摘要:大规模评估语言模型通常需要协调昂贵但可靠的标签(例如来自人类评分者)与廉价但嘈杂的代理标签(例如来自 LLM-as-a-judge 自动评分器)。本文提出约束最大似然估计(CMLE),这是一种基于似然的大语言模型(LLM)评估方法,它通过代理标签的真阳性率和假阳性率显式建模其误差,并受数据驱动的约束。在功能上,这些约束充当自适应正则化,限制可行的评判器错误率,尤其是在可用可靠标签数量有限时。与渐近无偏估计器(例如基于预测驱动推断的估计器)相比,该公式在约束设定错误的情况下接受受控偏差,以换取相对于各种基线(包括无约束最大似然估计(UMLE))的方差降低;我们在点约束下解析地刻画了这种偏差—方差权衡。我们确定了 CMLE 在均方误差上优于 UMLE 和预测驱动基线的情形。我们进一步使用分层变体将框架扩展到异质设置,该变体涉及基于评判器置信度的分层特定约束。在经验上,在合成和真实世界的 LLM 评估任务中,CMLE 的均方误差(MSE)比非分层基线低最多约 9\%,其分层变体(SCMLE)的 MSE 比所考虑的最强基线低最多约 30\%,在低标签情形下增益最大。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2604.03257 [cs.CL] |
| (或 arXiv:2604.03257v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2604.03257 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Minghe Shen [查看电子邮件]
[v1]
2026年3月11日星期三 21:48:40 UTC(32,480 KB)
[v2]
2026年11月19日星期四 16:14:08 UTC(36,553 KB)
来源:arXiv cs.CL · arxiv.org