arXiv cs.AI· Junnan Liu, Linhao Luo, Zhijun Chen, Qianren Mao, Thuy-Trang Vu, Gholamreza Haffari·· 9 天前AI 评分24
STI-OPD：面向多轮智能体在线策略蒸馏的随机教师干预框架
Stochastic Teacher Intervention for Agentic On-Policy Distillation
AI 导读
针对多轮智能体任务中早期错误累积导致轨迹偏离教师分布、token 级监督失效的问题，研究者提出随机教师干预框架 STI-OPD，用 KL 散度估计师生策略差异并映射为干预概率，自适应平衡教师控制与学生探索。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）通过对学生生成的 rollout 进行密集的 token 级监督，高效地将能力从更强的教师模型迁移到学生语言模型，并在数学推理等复杂任务上展现出潜力。然而，在多轮智能体任务中，学生的决策会塑造后续观测，导致早期错误在多轮中累积。由此产生的轨迹可能偏离教师的 rollout 分布，使教师的 token 级监督变得不那么可靠，甚至对 OPD 训练产生反效果。为解决这一问题，我们提出了 STI-OPD，一种用于多轮智能体 OPD 的随机教师干预框架。在多轮交互过程中，STI-OPD 使用由师生策略差异引导的教师干预，用教师生成的动作替换学生提出的动作，以最大化获取可靠监督。我们进一步提出了一种随机干预策略，克服了以往基于阈值或固定调度方法的局限，该策略使用 KL 散度估计策略差异并将其映射为干预概率。通过从该概率中采样是否进行干预，STI-OPD 自适应地平衡教师控制与学生探索。为了从由此产生的混合策略轨迹中学习，我们引入了一种重要性加权反向 KL 目标，用于校正教师生成响应与学生策略之间的 token 采样不匹配，从而保持原始 OPD 目标。在工具集成推理和长时程交互中，STI-OPD 在所有评估基准和学生规模上均优于最强的先前 OPD 基线。消融实验进一步表明，差异引导干预和重要性加权都对上述增益有所贡献。
| 评论： | 工作进行中 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.10878 [cs.CL] |
| （或 arXiv:2610.10878v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10878 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junnan Liu [查看电子邮件]
[v1]
2026年10月7日星期三 20:29:29 UTC（589 KB）
来源：arXiv cs.AI · arxiv.org