arXiv cs.CL· Utkarsh Bahuguna·· 12 小时前AI 评分39
多数投票反而拖累小模型：自一致性在多数 GPQA Diamond 难题上降低准确率
When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs
AI 导读
多数投票式自一致性（SC）在小型指令微调模型上反而降低了大多数 GPQA Diamond 问题的单题准确率，Qwen2.5-7B 有 56.6% 的问题变差，Llama-3-8B 为 65.7%。
正文 · AI 翻译
摘要：多数投票自洽性（SC）会降低小型指令微调模型在大多数 GPQA Diamond 问题上的单题准确率：Qwen2.5-7B 在 56.6% 的问题上如此，Llama-3-8B 为 65.7%。一个显而易见的修复方案是采用无验证器的置信度门控，来决定对哪些问题进行投票。我们报告，该修复方案最自然的版本同样失败，并将 v1 视为一个问题的三种信号失败区分开来。token 熵门控失败源于测量原因：在 602 个 token 的链上取平均时，熵主要衡量的是流畅度。链平均值与非答案平均值相差 0.0005 nats，与答案 token 相差 0.1695 nats。因此我们在答案 token 本身处测量置信度。在 Qwen2.5-7B-Instruct-Turbo 上（198 个问题，每个 64 个样本），与其所属问题的多数答案不一致的样本，其答案仍以至少 20.4 nats 的中位边际发出，且此类样本中至少 75.5% 超过 10 nats。这两个量均为预注册，并在 69 个未经任何探索性分析的问题上一次性检验；两者均通过。单位很重要。在整个基准上汇总时，该边际确实能区分正确与错误样本：超过 10 nats 的比例相差 +0.0586 [+0.0160, +0.0994]。在单个问题内配对比较时则不能：-0.0142 [-0.0501, +0.0215]。Token 对数概率确实携带信息，但不适用于自洽性所做的题内选择。一致性门控的失败没有我们能识别的机制，我们将其留作未解。新主张基于一个模型：在第二个模型上的注册复现实验已采样但无法评估，我们如实报告这一点。另外，三个推理模型在有限预算下无法在托管无服务器推理上评估，每个都有不同的实测原因。三者均可下载，因此这是计量 API 的限制，而非可知范围的限制。
| 评论： | 23 页，5 幅图，4 张表。v3：更正与披露。第 9 节结论标记为无支持；第 4.2 节 oracle、4.3 节 captures 和 4.5 节 primaries 已重述；MD1/MD2 作为边界报告。无新实验 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.11403 [cs.AI] |
| （或 arXiv:2608.11403v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.11403 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Utkarsh Bahuguna [查看邮箱]
[v1]
2026 年 8 月 11 日星期二 20:08:51 UTC（340 KB）
[v2]
2026 年 8 月 15 日星期六 22:30:00 UTC（425 KB）
[v3]
2026 年 10 月 21 日星期三 18:18:04 UTC（430 KB）
来源：arXiv cs.CL · arxiv.org