arXiv cs.CL· Xiaoshu Chen, Sihang Zhou, Ke Liang, Xinwang Liu·· 10 天前AI 评分24
SeOPD：通过自生成 CoT 在线策略蒸馏实现自我进化的 LLM
SeOPD: Self-Evolving LLMs via Online Policy Distillation from Self-Generated Chain-of-Thought
AI 导读
研究者提出 SeOPD，让 LLM 无需外部特权信息即可自我提升：先用深度思考模式生成 CoT，再用非思考模式生成回答，并将 CoT 作为特权信息对回答做 token 级监督，使推理中产生的新信息内化到共享模型参数中。实验表明该方法同时提升了非思考与深度思考能力。
正文 · AI 翻译
摘要：在线策略自蒸馏（OPSD）的最新进展表明，大型语言模型（LLM）可以通过利用外部特权信息（PI），如人工标注或来自外部环境的反馈，来提升自身能力。然而，获取准确的标注和构建复杂的环境往往需要大量的人力和计算资源，限制了 OPSD 的可扩展性。尽管最近有少数研究探索了无需外部 PI 的自我改进，但所获得的收益仍然有限。在这项工作中，我们探索 LLM 能否在无需外部 PI 的情况下实现可比的自我改进。我们的关键观察是，单个 LLM 可以支持多种推理模式，例如深度思考模式和非思考模式，其中深度思考在推理过程中会生成额外信息。基于这一观察，我们提出了自演化在线策略蒸馏（SeOPD），它使 LLM 能够蒸馏并内化其自身思维链（CoT）生成的信息。具体而言，它（1）以深度思考模式生成 CoT，（2）以非思考模式生成响应，（3）将生成的 CoT 作为 PI，为非思考响应提供 token 级监督，使推理过程中推断出的新信息能够引导非思考模式并内化到共享模型参数中，从而同时提升非思考与深度思考能力。跨 LLM 和任务的大量实验证明了 SeOPD 的有效性。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.33181 [cs.AI] |
| （或使用 arXiv:2609.33181v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.33181 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaoshu Chen [查看邮箱]
[v1]
2026年9月27日 星期日 04:00:06 UTC（562 KB）
[v2]
2026年10月7日 星期三 12:52:13 UTC（557 KB）
来源：arXiv cs.CL · arxiv.org