arXiv cs.AI· Zhezheng Hao, Yongkang Yang, Xilin Xia, Jiarui Yu, Yi Liu, Fanjunduo Wei, Peijie Dong, Tianfu Wang, Qiang Lin, Can Wang, Hande Dong, Jiawei Chen·· 2 天前AI 评分26
通过局部上下文蒸馏从交互经验中学习
Learning from Interaction Experience via Localized Context Distillation
AI 导读
研究者提出局部上下文蒸馏（LoCD），先定位学生轨迹中需要修正的关键片段，再由教师基于学生自身前缀重新生成这些片段并用于训练学生。在数学推理、代码生成和智能体任务上，LoCD 持续优于强基线，训练更稳定，参数更新更小更稀疏。
正文 · AI 翻译
作者：Zhezheng Hao、Yongkang Yang、Xilin Xia、Jiarui Yu、Yi Liu、Fanjunduo Wei、Peijie Dong、Tianfu Wang、Qiang Lin、Can Wang、Hande Dong、Jiawei Chen
摘要：从交互经验中学习对于使大语言模型在部署期间持续改进至关重要。上下文蒸馏提供了一条有前景的路径：从经验中提取的特权信息被提供给教师模型，然后将其行为蒸馏到一个无法访问该信息的学生模型中。然而，现有两种形式的上下文蒸馏都存在局限。离策略上下文蒸馏在教师模型生成的轨迹上训练学生模型，因而存在暴露偏差；而在策略上下文蒸馏则在学生模型自身的 rollout 上训练，其状态往往信息量不足，无法传达学生模型尚不能产生的行为。为解决这一困境，我们提出了局部上下文蒸馏（LoCD）。LoCD 首先定位学生轨迹中需要修正的关键片段。然后教师模型仅基于学生模型自身的前缀重新生成这些片段，学生模型则在重新生成的片段上进行训练。由此，LoCD 将学习集中在信息量最大的状态上，同时保持较低的暴露偏差。在数学推理、代码生成和智能体任务上的大量实验表明，LoCD 持续优于强基线，并以更小、更稀疏的参数更新实现更稳定的训练。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21427 [cs.AI] |
| （或 arXiv:2610.21427v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21427 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Yongkang Yang [查看邮箱]
[v1]
2026年10月15日星期四 07:39:09 UTC（362 KB）
来源：arXiv cs.AI · arxiv.org