跳到正文
热点事件持续更新

语义聚类投票提升小模型数学推理,开放式文本增益有限

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Adam Y. Ahmed 与 Abdullah G. Elafifi 发表论文,在小模型上检验测试时扩展:用无需奖励模型或自我评判的语义聚类投票,把指令小模型的多个样本按语义分组,返回最大簇的代表。在 Qwen2.5-3B、Llama-3.2-3B、Gemma-2-2B 三个模型上,投票使数学对照任务准确率提升 10 至 29 个百分点,MATH-500 上提升 8.5 个百分点(95% 置信区间 4.0 至 13.0)。 同一方法用于开放式文本生成时,最多只提高 0.30 个 judge 分,说明该测试时扩展方式对开放式推理的收益明显小于数学任务。

AI 根据报道生成 · 45 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv cs.CL
    小模型规模下的开放式推理测试时扩展研究

    研究用语义聚类投票在 Qwen2.5-3B、Llama-3.2-3B、Gemma-2-2B 三个小模型上检验测试时扩展:投票让数学对照任务准确率提升 +10 至 +29 点,MATH-500 上提升 +8.5 点(95% CI [+4.0, +13.0]),但开放式文本最多只加 +0.30 judge 分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。