arXiv cs.AI· Ya Gao, Zhengtao Zou, Pekka Marttinen·· 11 小时前AI 评分34
LLM 智能体蒸馏该在哪个层面跟随学生模型？分层框架给出答案
Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?
AI 导读
研究提出分层智能体蒸馏框架，将 on-policy 程度拆为"交互历史由谁产生"和"动作 token 前缀由谁生成"两个层面，并可在三个模型、四个交互环境中显式控制配对、混合比例与训练日程。
正文 · AI 翻译
摘要：蒸馏交互式 LLM 智能体需要在教师生成的演示与学生生成的经验之间做出选择，这大致对应离策略与在策略蒸馏。尽管两者均已被证明有效，我们认为这种区分本质上是分层的：诱导交互历史的策略不必与生成当前动作 token 前缀的策略相同。我们提出一种分层智能体蒸馏框架，将这两个层级的在策略性形式化，并支持对其配对方式、混合比例和训练计划进行显式控制。我们通过自蒸馏研究这一问题，其中冻结的教师模型可以访问学生模型无法获得的任务指导，并在三个模型和四个交互环境中开展三阶段受控研究。我们发现，学生诱导的历史与教师生成的动作前缀配对通常能提供最强的独立训练信号，而在两个层级上都跟随学生通常表现最差。然而，当完全在策略数据与其他配置混合时，它会变得有益。此外，在每个层级上具有相同教师/学生比例的混合配置可能产生显著不同的性能，这表明两个层级如何配对比在策略数据的总体数量更重要。最后，前置完全由教师生成的上下文并延迟完全在策略上下文，优于静态混合。这些发现为决定智能体蒸馏应在何处、以多少量以及何时跟随学生提供了实用原则。
| 评论： | 审稿中 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.31918 [cs.AI] |
| （或 arXiv:2610.31918v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31918 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ya Gao [查看电子邮件]
[v1]
2026年10月22日星期四 21:10:47 UTC（433 KB）
来源：arXiv cs.AI · arxiv.org