arXiv cs.AI· Xingyu Su, Abhishek Kumar, Qing Ping, Youzhi Luo, Jonathan Buck, Zach Zhang, Subramanian Chidambaram, Vinayak Arannil·· 11 小时前AI 评分38
从自蒸馏到自练习：多轮智能体的特权信息方法
From Self-Distillation to Self-Practice: Privileged Information for Multi-Turn Agents
AI 导读
研究指出，on-policy 自蒸馏（OPSD）在多轮智能体中会让模型表现得像拥有从未见过的特权信息，性能甚至可能低于未训练基座模型。为此提出 Privileged Self-Practice（PSP），将特权信息从损失函数移到采样器：当任务 rollout 大多失败时，注入分析模型撰写的任务指令重新采样，并用不变的 GRPO 目标训练。
正文 · AI 翻译
摘要：在线策略自蒸馏（OPSD）已成为训练后 LLM 智能体的常用方法。它通过以同一模型的更强教师视角（以特权信息（PI）为条件获得）在 token 级别监督智能体模型。在本工作中，我们表明，在多轮智能体中，这一范式教会学生自信地行动，却缺乏支撑其行动的信息。训练后的智能体表现得仿佛拥有它从未观察到的特权信息，其性能远低于普通 RL，最坏情况下甚至低于未训练的基座模型。因此，我们提出特权自练习（PSP），它保留 PI 并将其从损失转移到采样器。当学生在任务上的 rollout 大多失败时，我们注入由分析器模型编写的简短逐任务指令，在上下文中包含该指令的情况下重新采样任务，并使用不变的 GRPO 目标对结果进行训练。特权信息保留在提示中，从不进入损失。在 AppWorld 和 SWE-bench Verified 上，使用三种不同的学生模型，PSP 在每种设置中都获得最佳平均分，并且是唯一始终优于普通 GRPO 的方法，在各设置中平均分相对 GRPO 提升 7% 至 58%。项目页面：this https URL。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.29051 [cs.AI] |
| （或此版本的 arXiv:2609.29051v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.29051 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xingyu Su [查看电子邮件]
[v1]
2026 年 9 月 24 日星期四 05:32:25 UTC（409 KB）
[v2]
2026 年 10 月 15 日星期四 19:31:21 UTC（411 KB）
来源：arXiv cs.AI · arxiv.org