arXiv cs.AI· Xianwei Chen, Shimin Zhang, Jibin Wu·· 3 天前AI 评分22
f-OPD：用新鲜度感知控制稳定长程在线策略蒸馏
$\boldsymbol{f}$-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control
AI 导读
针对 LLM 在线策略蒸馏（OPD）中异步执行偏离理想 on-policy 目标的问题，研究者提出 f-OPD 框架，将目标偏差分解为 rollout drift 与 supervision drift，并引入样本级新鲜度分数衡量缓冲样本可靠性，据此自适应调节陈旧样本影响、约束策略漂移。
正文 · AI 翻译
摘要：面向大语言模型（LLM）的在线策略蒸馏（OPD）规模化面临一个根本性矛盾：异步执行对系统效率是必要的，但在结构上偏离了理想的在线策略目标。为应对这一挑战，我们从理论上将目标偏差分解为 rollout 漂移和监督漂移，分别刻画学生 rollout 和教师上下文中的陈旧性。在此基础上，我们引入样本级新鲜度分数，用于量化缓冲样本相对于在线策略目标的可靠性。在该信号的指导下，我们进一步提出 f-OPD，一种新颖的框架，能够自适应地调节陈旧样本的影响，并约束异步训练下累积的策略漂移。在交互时域不断增长的推理、工具使用和编码智能体任务中，f-OPD 始终取得与同步优化相当的任务性能，同时基本保留了异步执行的吞吐优势。我们的结果确立了首个在 OPD 中实现性能-效率权衡的方案，为大规模长时域智能体后训练铺平了道路。
| 评论： | 本工作已被 NeurIPS 2026 接收。这是最终定稿版本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.17862 [cs.LG] |
| （或 arXiv:2605.17862v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.17862 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Xianwei Chen [查看邮箱]
[v1]
2026年5月18日星期一 05:14:18 UTC（1,069 KB）
[v2]
2026年10月11日星期日 15:23:55 UTC（959 KB）
来源：arXiv cs.AI · arxiv.org