多数投票自洽性拖累小模型GPQA准确率

Utkarsh Bahuguna 发表论文称，多数投票式自一致性（SC）在小型指令微调模型上反而降低了大多数 GPQA Diamond 问题的单题准确率：Qwen2.5-7B 有 56.6% 的问题变差，Llama-3-8B 为 65.7%。 作者说明，这些新结论仅基于一个模型；对第二个模型注册的复现实验虽已采样，但未能完成评估，论文如实报告了这一情况。此外，三个推理模型因小预算下的托管无服务器推理限制而无法评估，各自原因不同；三者均可下载，作者称这属于计量 API 的限制，而非不可知。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。