arXiv cs.CL· Hengyuan Zhang, Chenming Shang, Zunhai Su, Xiao Liang, Hui Shen, Jing Xiong, Dawei Li, Shiping Yang, Kailai Yang, Wei Zhang, Ruobing Xie, Hayden Kwok-Hay So, Ngai Wong·· 6 天前AI 评分23
SPS：基于状态条件与进度引导的潜在引导框架，提升推理探索效率
Efficient Reasoning Exploration via State-Conditioned Latent Steering with Progress Guidance
AI 导读
研究者提出 SPS（State-conditioned Progress-guided Steering），一种免训练的潜在引导框架，用于缓解后训练推理模型的"探索崩溃"问题。
正文 · AI 翻译
作者：Hengyuan Zhang、Chenming Shang、Zunhai Su、Xiao Liang、Hui Shen、Jing Xiong、Dawei Li、Shiping Yang、Kailai Yang、Wei Zhang、Ruobing Xie、Hayden Kwok-Hay So、Ngai Wong
摘要：Best-of-$N$ 是一种广泛用于复杂推理的推理策略，其有效性取决于采样的候选能否覆盖多样且高质量的推理路径。然而，经过后训练的推理模型常常出现 \emph{探索崩溃}，即独立的多轮采样反复遵循相似的推理路径，限制了增加采样预算带来的收益。现有方法通过促进更广泛的探索来缓解这一问题，但并未明确引导探索朝向能取得有意义进展的后续路径，导致探索效率有限。为此，我们提出 \emph{\underline{S}tate-conditioned \underline{P}rogress-guided \underline{S}teering}（SPS），一种无需训练的潜在引导框架。具体而言，SPS 构建了一个状态条件方向库，其中包含针对不同前缀状态区域的多个进展引导引导向量。在线推理过程中，SPS 根据当前前缀状态检索合适的引导向量，并在高不确定性转折点应用它，以引导下一步推理朝向有意义的进展。跨多个模型规模和基准的广泛实验表明，SPS 持续优于强基线。进一步的分析验证了其关键设计的有效性，并为未来研究提供了有价值的见解。代码可在 此 https URL 获取。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.24066 [cs.CL] |
| （或 arXiv:2609.24066v2 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2609.24066 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hengyuan Zhang [查看邮箱]
[v1]
2026年9月21日星期一 03:41:40 UTC（651 KB）
[v2]
2026年10月9日星期五 05:32:58 UTC（651 KB）
来源：arXiv cs.CL · arxiv.org