arXiv cs.CL· Yuhang Zhou, Yifan Wu, Bo Peng, Mingyi Wang, Jiayi Liu, Xiangjun Fan, Lizhu Zhang, Zhuokai Zhao·· 11 小时前AI 评分34
通过特权回顾蒸馏实现自我进化智能体
Self-Evolving Agents through Privileged Retrospective Distillation
AI 导读
研究者提出 Retrospective Self-Distillation（RSD）多轮框架，让同一模型同时充当学生与教师，利用跨任务先例、回合级反思与未来后见之明重评自身动作，将回顾分布蒸馏回策略，无需真实答案或验证器奖励。
正文 · AI 翻译
摘要：自进化智能体的目标是从自身经验中改进，而不是在部署后保持固定不变，但自然收集的轨迹往往缺乏真实答案或验证器给出的奖励。我们提出回顾性自蒸馏（Retrospective Self-Distillation，RSD），这是一个多轮框架，利用特权回顾上下文将此类经验转化为密集监督。对于每条同策略轨迹，同一个底层模型同时充当学生和教师：教师在以跨任务先例与经验教训、以及来自已完成轨迹的轮级反思和未来事后视角为条件的情况下，重新为学生的实际动作打分。由此得到的教师分布通过同策略自蒸馏回传到策略中。在多轮过程中，经验库不断增长，回顾上下文被刷新，从而使模型、其数据及其监督共同演化。我们进一步引入前沿引导的上下文策略演化，其中更强的前沿模型对特权上下文的构建方式提出受限编辑。在 ALFWorld、ScienceWorld 和 SearchQA 上，使用 Qwen3-8B 和 Qwen3-14B 时，RSD 相对基础模型将性能提升最高达 59.7%，而前沿引导的上下文策略演化在固定上下文策略的基础上又带来最高 44.7% 的相对提升。这些结果表明，自然积累的经验可以转化为持久的模型能力，而核心策略更新无需真实轨迹或验证器给出的奖励。
| 评论： | 26 页，5 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.27495 [cs.LG] |
| （或 arXiv:2610.27495v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27495 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuhang Zhou [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 02:13:21 UTC（931 KB）
来源：arXiv cs.CL · arxiv.org