arXiv cs.AI· Tianyuan Shi, Canbin Huang, Bei Li, Xin Chen, Xiaojun Quan, Jingang Wang, Qifan Wang·· 3 天前AI 评分29
SGPO：用策略引导策略优化替代轨迹模仿，提升 LLM 推理能力
Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning
AI 导读
研究者提出 Strategy-Guided Policy Optimization（SGPO），用可复用的策略蒸馏替代实例级轨迹模仿，从强模型回答中提取结构化策略描述，并为每个问题构建自主与策略引导两条轨迹进行直接对比。
正文 · AI 翻译
摘要：从强语言模型向弱语言模型蒸馏推理能力，通常涉及模仿特定的解题轨迹，实际上传递的是“答什么”而非“如何推理”。这种轨迹级模仿鼓励记忆实例特定的步骤，而非习得可迁移的问题解决技能，从而限制了对新问题的泛化能力。我们提出策略引导策略优化（Strategy-Guided Policy Optimization，SGPO），用可复用的策略蒸馏取代实例级轨迹模仿。SGPO 从强模型响应中提取结构化策略描述，并针对每个问题构建自主轨迹和策略引导轨迹，从而能够直接比较模型在有和无策略引导下的行为。该框架随后解决两个关键问题。对于如何蒸馏，一个 token 级前向 KL 目标将策略条件所引发的分布偏移选择性地迁移到无引导策略中，并通过近端约束确保稳定性。对于何时蒸馏，自适应实例级加权在自主探索不足时加强引导，并随着模型自身能力的增长而减少引导。在两个模型家族的四个数学基准上的实验表明，SGPO 持续优于 SFT、同策略 RL 和混合策略基线，在 Qwen2.5-7B-Instruct 上相比最强基线平均得分提高 2.2 分。分析表明，前向 KL 目标提供了一种内在选择性的蒸馏信号，优于直接轨迹模仿，并且策略蒸馏与基础模型能力呈现互补的扩展关系。
| 评论： | 被 COLM 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.24064 [cs.AI] |
| （或 arXiv:2606.24064v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.24064 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tianyuan Shi [查看邮箱]
[v1]
2026年6月23日星期二 02:14:12 UTC（378 KB）
[v2]
2026年10月13日星期二 06:15:31 UTC（372 KB）
来源：arXiv cs.AI · arxiv.org