arXiv cs.AI· Lirui Luo, Kelong Mao, Xinwei Yang, Rongqing Li, Luyu Chen, Kieran Wong, Yudong Guo, Xinrui Wang, Jiayin Zhu, Gu Simiu, Sulong Xu, Cong Fang·· 10 小时前AI 评分42
COPD:通过自然语言沟通从黑盒教师模型蒸馏长程任务能力
Communicative On-Policy Distillation: Distilling Black-Box Teacher Capabilities through Communication for Long-Horizon Tasks
AI 导读
研究者提出 Communicative On-Policy Distillation(COPD),以自然语言沟通为媒介,将更强黑盒教师模型的能力蒸馏到更小的学生模型,学生可自主决定何时向教师提问且无需预设模板。
正文 · AI 翻译
作者:Lirui Luo、Kelong Mao、Xinwei Yang、Rongqing Li、Luyu Chen、Kieran Wong、Yudong Guo、Xinrui Wang、Jiayin Zhu、Gu Simiu、Sulong Xu、Cong Fang
摘要:同策略蒸馏(OPD)是一种强大的范式,可用于提升语言模型智能体在长程任务上的表现,但其传统形式依赖于教师 logits,而纯文本黑盒模型并不暴露这些 logits。为解决这一局限,我们提出交流式同策略蒸馏(COPD),它以自然语言交流为媒介,将更强模型的能力蒸馏到较小的学生模型中。在任务执行过程中,学生模型自主决定何时咨询黑盒教师,并组织开放式的自然语言请求,无需预定义的问题模板或干预时间表。成功的学生—教师交互会被保留为特权参考,通过同策略自蒸馏监督新的无顾问学生 rollout,并与任务奖励强化学习联合进行。在 CAMG-II 上,COPD 取得的增益是最强黑盒 OPD 基线的 2.46 倍。它通过交流学到的能力可泛化到 Terminal-Bench 2.1 和 SWE-Bench Pro V2,在无法访问顾问的情况下提升任务成功率。
| 评论: | 13 页,8 幅图,2 张表。项目页面:this https URL |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.23673 [cs.LG] |
| (或 arXiv:2611.23673v1 [cs.LG] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2611.23673 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Lirui Luo [查看邮箱]
[v1]
2026 年 11 月 18 日星期三 00:56:10 UTC(10,755 KB)
来源:arXiv cs.AI · arxiv.org