arXiv cs.CL· Aryan Das, Arnab Bhattacharya, Vinay Kumar Verma·· 3 天前AI 评分23
FSPO：面向策略优化的函数空间时序自蒸馏
Function-Space Temporal Self-Distillation for Policy Optimization
AI 导读
研究者提出 Function-Space Policy Optimization（FSPO），一种单策略框架，将当前特权适应与函数空间时序整合相结合，通过存储稀疏的历史 next-token 分布作为固定时序目标，无需维护持久教师模型。
正文 · AI 翻译
摘要：可验证奖励强化学习（RLVR）提升了语言模型的推理能力，但标量结果对响应轨迹提供的监督过于粗糙。自蒸馏通过比较无辅助策略与反馈引导的自教师模型，提供了更密集的 token 级指导，然而教师模型随学生模型共同演化，导致目标不稳定，因而需要额外的正则化。我们提出函数空间策略优化（FSPO），这是一个单策略框架，将当前特权适应与函数空间时间整合相结合。FSPO 将稀疏的历史下一 token 分布存储为固定的时间目标，在无需维护持久教师模型的情况下实现时间分离。它还引入了特权分歧校正以显式抑制局部高估的动作，可靠性自适应基础强化在自生成证据反复失败时加强参考监督，以及质量与覆盖感知的时间记忆，用于保留已验证行为并改进特权演示。在推理与工具使用基准上，FSPO 在 5 小时训练预算下取得了最高平均准确率，平均比最强基线提升约 4 个百分点，同时在 Olmo3-7B-Instruct 上将峰值内存从约 70 GB 降至 56 GB。
| 评论： | Aryan Das、Vinay Kumar Verma：同等贡献。审稿中 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.19687 [cs.LG] |
| （或 arXiv:2610.19687v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19687 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vinay Verma Kumar [查看电子邮件]
[v1]
2026年10月14日星期三 07:10:49 UTC（597 KB）
来源：arXiv cs.CL · arxiv.org