跳到正文
arXiv cs.AI· Lirui Luo, Kelong Mao, Xinwei Yang, Rongqing Li, Luyu Chen, Kieran Wong, Yudong Guo, Xinrui Wang, Jiayin Zhu, Gu Simiu, Sulong Xu, Cong Fang·· 10 小时前AI 评分42

COPD:通过自然语言沟通从黑盒教师模型蒸馏长程任务能力

Communicative On-Policy Distillation: Distilling Black-Box Teacher Capabilities through Communication for Long-Horizon Tasks

AI 导读

研究者提出 Communicative On-Policy Distillation(COPD),以自然语言沟通为媒介,将更强黑盒教师模型的能力蒸馏到更小的学生模型,学生可自主决定何时向教师提问且无需预设模板。

正文 · AI 翻译

作者:Lirui Luo、Kelong Mao、Xinwei Yang、Rongqing Li、Luyu Chen、Kieran Wong、Yudong Guo、Xinrui Wang、Jiayin Zhu、Gu Simiu、Sulong Xu、Cong Fang

查看 PDF

摘要:同策略蒸馏(OPD)是一种强大的范式,可用于提升语言模型智能体在长程任务上的表现,但其传统形式依赖于教师 logits,而纯文本黑盒模型并不暴露这些 logits。为解决这一局限,我们提出交流式同策略蒸馏(COPD),它以自然语言交流为媒介,将更强模型的能力蒸馏到较小的学生模型中。在任务执行过程中,学生模型自主决定何时咨询黑盒教师,并组织开放式的自然语言请求,无需预定义的问题模板或干预时间表。成功的学生—教师交互会被保留为特权参考,通过同策略自蒸馏监督新的无顾问学生 rollout,并与任务奖励强化学习联合进行。在 CAMG-II 上,COPD 取得的增益是最强黑盒 OPD 基线的 2.46 倍。它通过交流学到的能力可泛化到 Terminal-Bench 2.1 和 SWE-Bench Pro V2,在无法访问顾问的情况下提升任务成功率。
评论: 13 页,8 幅图,2 张表。项目页面:this https URL
主题: 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2611.23673 [cs.LG]
  (或 arXiv:2611.23673v1 [cs.LG] 查看此版本)
  https://doi.org/10.48550/arXiv.2611.23673

arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

来自:Lirui Luo [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 00:56:10 UTC(10,755 KB)

来源:arXiv cs.AI · arxiv.org