arXiv cs.AI· Bingnan Xiao, Chenhao Yang, Bingcong Li, Wei Ni, Xin Wang·· 10 天前AI 评分22
面向 LLM 推理的自适应 Power Sampling（APS）
Adaptive Power Sampling for LLM Reasoning
AI 导读
研究者提出 Adaptive Power Sampling（APS），一种无需训练的推理采样方法，按每条查询动态调整锐化指数，依据答案一致性与模型自奖励的关系在测试时逐查询设定。在 MATH500、HumanEval、GPQA 等推理任务上，APS 一致优于固定锐化指数的 power sampling，且无需额外训练。
正文 · AI 翻译
摘要：序列级幂采样（sequence-level power sampling）最近作为一种无需训练的推理方法出现，其做法是从基础大语言模型（LLM）锐化后的输出分布中采样。然而，现有方法通常对所有查询统一锐化基础模型分布，忽略了查询难度的差异以及基础模型对每个查询已有处理程度的差异。本工作的目标是为幂采样赋予查询自适应性。在理论上，我们表明进一步锐化的收益取决于正确与错误回答之间的自奖励差距。基于这一洞见，我们提出了 \emph{自适应幂采样}（Adaptive Power Sampling，APS），它在测试时根据答案一致性与模型自奖励之间的关系，按查询调整锐化指数。在包括 MATH500、HumanEval 和 GPQA 在内的多种推理任务上的实验表明，APS 无需额外训练即可持续优于使用固定锐化指数的幂采样。
| 评论： | 22 页，6 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用格式： | arXiv:2610.08563 [cs.AI] |
| （或 arXiv:2610.08563v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08563 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Bingnan Xiao [查看邮箱]
[v1]
2026 年 10 月 6 日星期二 15:43:35 UTC（279 KB）
来源：arXiv cs.AI · arxiv.org