arXiv cs.AI· Xiaotong Ji, Rasul Tutunov, Matthieu Zimmer, Haitham Bou Ammar·· 3 天前AI 评分39
Scalable Power Sampling：无需训练、通过分布锐化实现 LLM 高效推理
Scalable Power Sampling: Unlocking Efficient, Training-Free Reasoning for LLMs via Distribution Sharpening
AI 导读
研究者提出 Scalable Power Sampling，一种无需训练也无需验证器的算法，通过自回归地锐化基座模型的生成分布来提升 LLM 推理能力。该方法基于自回归幂分布的词元级分解，将全局幂分布近似为词元级缩放低温分布，缩放因子捕捉未来轨迹质量，从而省去迭代 MCMC。
正文 · AI 翻译
摘要：强化学习（RL）后训练是提升大语言模型（LLM）推理性能的主流方法，但越来越多的证据表明，其收益主要来自分布锐化，而非获得新能力。近期工作表明，使用马尔可夫链蒙特卡洛（MCMC）从 LLM 的幂分布中采样，可以在不依赖外部奖励的情况下恢复与 RL 后训练相当的性能；然而，MCMC 的高计算成本使这类方法难以被广泛采用。在本工作中，我们提出了一种有理论依据的替代方案，无需迭代 MCMC。我们推导出自回归幂分布的 token 级分解，表明全局幂分布可由 token 级缩放的低温度分布近似，其中缩放因子刻画了未来轨迹的质量。基于这一洞见，我们提出了一种无需训练、无需验证器的算法，以自回归方式锐化基础模型的生成分布。在实验上，我们在数学、问答和代码任务上评估了我们的方法，表明该方法在不依赖任何外部奖励的情况下达到或超过单次 GRPO，同时相比基于 MCMC 的采样将推理延迟降低超过 $10\times$。
| 评论： | 已被 ICML 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.21590 [cs.LG] |
| （或 arXiv:2601.21590v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.21590 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaotong Ji [查看邮箱]
[v1]
2026年1月29日星期四 12:01:53 UTC（1,649 KB）
[v2]
2026年10月12日星期一 13:10:35 UTC（1,657 KB）
来源：arXiv cs.AI · arxiv.org