arXiv cs.AI· Guangsheng Yu, Litianyi Zhang, Qin Wang, Xu Wang, Mingyuan Li, Shaoxiong Ji, Ren Ping Liu, Massimo Piccardi·· 2 天前AI 评分32
用多样性合并破解多路径 LLM 推理的收益饱和问题
Diversity Combining for Multi-Path LLM Reasoning
AI 导读
研究者将多路径 LLM 推理形式化为无线通信中的多样性合并问题，指出路径正确性的两两相关性会把投票的有效样本量压在有限上限，这解释了 self-consistency 随采样数 K 增加而收益饱和。
正文 · AI 翻译
摘要：自一致性（SC）等多路径推理方法会采样 $K$ 条推理路径，并选择出现最频繁的答案。然而，随着 $K$ 增大，其收益会迅速趋于平缓；目前要定位这一饱和点，需要根据在若干 $K$ 值下测得的准确率拟合一个缩放模型，或对每个查询在线停止。我们将多路径 LLM 推理形式化为无线通信中的分集合并问题：每条路径都是一次含噪信道观测，而路径正确性的两两相关性会将投票的设计效应有效样本量限制在一个有限上限。广义最小二乘（GLS）分析表明，对于增益相等的路径，当路径协方差矩阵的每一行之和都相同时（例如在可交换性下），潜在嵌入的最优线性合并器恰好是均匀的；这支持将多数投票作为标准 SC 中的自然默认方案，同时为异构提示模板分支下的加权或剪枝留出空间。在 5 个模型和 12 个基准上，提示模板多样性在 $60$ 个模型-基准单元中的 $55$ 个里降低了路径相关性，平均相对降低 $16\%$，且在每个任务领域都有降低。我们推导出一条 Adaptive-K 规则，使用四路径试点来选择 $K^*$，在 Math、QA 和 NLU 上保留了 MV@$K{=}32$ 准确率的 $96$--$103\%$。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.38829 [cs.AI] |
| （或本版本的 arXiv:2609.38829v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.38829 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guangsheng Yu [查看邮箱]
[v1]
2026年9月30日星期三 02:52:19 UTC（309 KB）
[v2]
2026年10月26日星期一 21:03:52 UTC（310 KB）
来源：arXiv cs.AI · arxiv.org