跳到正文
arXiv cs.AI· Xuan Zhang, Zhijian Zhou, Zicheng Hu, Yan Feng, Hongyan Hao, Yuan Qi, Chao Qu·· 4 小时前AI 评分34

MCTS 数错了对象:为 LLM 推理学习探索计数

MCTS Is Counting the Wrong Thing: Learning Exploration Counts for LLM Reasoning

AI 导读

研究指出标准 UCT 为文本分支独立分配访问计数,导致同一推理策略的不同表述重复获得探索奖励、计数碎片化并增加累积遗憾。为此提出 LPC-MCTS,仅在 UCT 的探索统计量上改动,用轻量 Coin-Flipping Network 头基于策略隐藏表示估计覆盖度,让相关分支共享探索证据。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:蒙特卡洛树搜索(MCTS)推动了强化学习领域的里程碑式成功,但其在 LLM 推理中的收益尽管投入了大量搜索努力,仍可能较为有限。我们识别出一个被忽视的瓶颈:MCTS 所计数的对象。标准 UCT 为文本分支分配独立的访问计数,使得同一推理策略的不同表述可以反复获得探索奖励。我们的理论分析表明,这种计数碎片化会损害探索效率,其量化表现为累积遗憾的增加。为解决这一问题,我们提出了学习伪计数 MCTS(LPC-MCTS),它仅改变 UCT 中的探索统计量。一个轻量级的抛硬币网络头附加在策略的隐藏表示上,用于估计表示覆盖度,使相关分支能够共享探索证据。在 5 个数学推理基准和 7 个搜索基准上,LPC-MCTS 始终优于强 MCTS 基线。在固定每个经 LPC-MCTS 训练的策略不变的情况下,在推理时用标准 MCTS 计数替换,可在 5 个数学基准上将平均 mean@16 准确率在 Qwen2.5-7B 上提升 3.79 个百分点,在 Qwen3-4B 上提升 2.71 个百分点。在训练和推理阶段均应用 LPC-MCTS,相比标准 MCTS 分别获得 4.96 和 4.37 个百分点的提升。总之,我们的理论与实验表明,改变 MCTS 所计数的对象可以显著提升其探索效率和推理性能。
学科: 人工智能(cs.AI)
引用为: arXiv:2611.22301 [cs.AI]
  (或 arXiv:2611.22301v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22301

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Xuan Zhang [查看邮箱]
[v1] 2026年11月17日星期二 06:57:40 UTC(1,619 KB)

来源:arXiv cs.AI · arxiv.org