研究者提出固定预算下窄置信区间的LLM评测框架
热点事件持续更新
研究者提出固定预算下窄置信区间的LLM评测框架
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Yezhou Cheng等作者提出一个LLM评测框架,在固定评测预算下把预算分配到任务和重复运行上,利用同一任务多次运行之间的不一致来约束估计误差,从而在相同置信水平下得到更窄的置信区间。 作者称,该框架在任务数与重复次数增长时达到理论最优的收窄速率,并给出全覆盖与可跳过任务两种情形下的匹配下界。
AI 根据报道生成 · 55 分钟前更新
最新进展11月20日 13:00
固定预算下窄置信区间的 LLM 评测框架报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AI固定预算下窄置信区间的 LLM 评测框架
研究者提出一个在固定评测预算下分配任务与重复运行的框架,利用同一任务多次运行间的不一致来约束估计误差,从而在相同置信水平下获得更窄的置信区间。该框架在任务与重复预算增长时达到理论最优的收窄速率,并给出全覆盖与可跳过任务两种情形下的匹配下界。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。