跳到正文
热点事件持续更新

研究者提出固定预算下窄置信区间的LLM评测框架

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Yezhou Cheng等作者提出一个LLM评测框架,在固定评测预算下把预算分配到任务和重复运行上,利用同一任务多次运行之间的不一致来约束估计误差,从而在相同置信水平下得到更窄的置信区间。 作者称,该框架在任务数与重复次数增长时达到理论最优的收窄速率,并给出全覆盖与可跳过任务两种情形下的匹配下界。

AI 根据报道生成 · 55 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    固定预算下窄置信区间的 LLM 评测框架

    研究者提出一个在固定评测预算下分配任务与重复运行的框架,利用同一任务多次运行间的不一致来约束估计误差,从而在相同置信水平下获得更窄的置信区间。该框架在任务与重复预算增长时达到理论最优的收窄速率,并给出全覆盖与可跳过任务两种情形下的匹配下界。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。