arXiv cs.AI· Haoxiang Zhang, Qinglin Chen, Hiroaki Hayashi, Zhuofeng Li, Siming Zhang, Jiaxin Zhang, Jixuan Chen, Fang Wu, Pan Lu, Silvio Savarese, Julian McAuley, Chien-Sheng Wu·· 10 天前AI 评分25
Self-Retrospection Distillation：将事后经验转化为事前预见
Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight
AI 导读
研究者提出 Self-Retrospection Distillation（SRD），将完整轨迹中的事后经验蒸馏为同一策略在交互前的预见预测，预见仅作训练目标、推理时无需显式生成。
正文 · AI 翻译
作者：Haoxiang Zhang、Qinglin Chen、Hiroaki Hayashi、Zhuofeng Li、Siming Zhang、Jiaxin Zhang、Jixuan Chen、Fang Wu、Pan Lu、Silvio Savarese、Julian McAuley、Chien-Sheng Wu
摘要：带可验证奖励的强化学习（RLVR）主要通过交互后的标量结果奖励，将智能体经验转化为学习信号。然而，对于组相对目标而言，当所有 rollout 获得相同奖励时，这一信号便会消失，尽管它们的轨迹可能揭示出关于任务要求以及智能体失败方式的有用信息。我们提出一个互补的问题：事后反思能否教会智能体在行动之前本应预见到什么？我们引入前瞻性学习（prospective learning），它利用事后经验来监督来自交互前视角的前瞻预测，并以自回溯蒸馏（Self-Retrospection Distillation，SRD）加以实现。直观地说，一条已完成的轨迹揭示了本会有用的知识以及应当避免的陷阱；SRD 将这种特权式的事后认知蒸馏为同一策略的轨迹盲前瞻。前瞻仅作为训练目标，无需在推理时显式生成。在 10 项工具集成推理和长时程智能体任务中，SRD 对 RLVR 和自蒸馏基线形成补充，增益最高达 $24.2$ 个百分点。其优势在奖励对比稀缺时尤为明显：当 $37$--$98\%$ 的 rollout 组在不同模型规模下奖励一致时，SRD 仍能从采样轨迹中挖掘学习信号。在 2B 设置下，$98\%$ 的组全部失败，RLVR 训练最终成功率为 $0.0\%$，而在相同 rollout 预算下加入 SRD 后达到 $60.6\%$。我们的结果表明，事后智能体经验不仅有助于评估或改进行为，也有助于在可用交互之前塑造预测性表征。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.08077 [cs.AI] |
| （或 arXiv:2610.08077v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08077 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoxiang Zhang [查看邮箱]
[v1]
2026年10月6日星期二 10:06:47 UTC（6,703 KB）
来源：arXiv cs.AI · arxiv.org