跳到正文
热点事件持续更新

CMLE方法用于有界劣质评判器的LLM评测

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Minghe Shen等作者提出约束最大似然估计(CMLE),用于在LLM-as-a-judge代理标签存在误差时评估大语言模型。该方法通过真实正例率与假正例率显式建模评判器误差,并以数据驱动的约束充当自适应正则化。 作者报告,在合成与真实LLM评估任务上,CMLE的均方误差比非分层基线最多低约9%,其分层变体SCMLE比最强基线最多低约30%,低标签场景收益最大。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.CL
    面向有界劣质评判器的稳健 LLM 评估:约束最大似然方法

    论文提出约束最大似然估计(CMLE),通过真实正例率与假正例率显式建模 LLM-as-a-judge 代理标签的误差,并用数据驱动的约束充当自适应正则化。在合成与真实 LLM 评估任务上,CMLE 的均方误差比非分层基线最多低约 9%,其分层变体 SCMLE 比最强基线最多低约 30%,低标签场景收益最大。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。