arXiv cs.AI· Juncheng Diao, Haibin Wang, Wei Shi, Yifan Ding, Qingbin Li, Rongxiang Weng, Xunliang Cai·· 11 小时前AI 评分38
SAPD：无需环境交互，从智能体经验中学习
SAPD: Learning from Agent Experience without Environment Interaction
AI 导读
研究者提出 Step-Advantage Policy Distillation（SAPD），一种利用相对步优势从离线轨迹中学习的方法，无需新环境观测或多轮交互。在 ALFWorld、WebShop 和 Search-based QA 上，SAPD 在不同教师配置下均提升性能，相比 SFT 缓解灾难性遗忘，每训练步比在线 OPD 至少快 4.7 倍。代码即将发布。
正文 · AI 翻译
摘要：扩展大型语言模型（LLM）智能体的训练通常需要大量可执行环境，而这些环境的构建、维护和运行制约了训练经验的扩展。现有的离线轨迹为复用交互经验提供了机会，但在不重新访问这些环境的情况下有效改进当前策略仍然具有挑战性：监督微调（SFT）可能导致灾难性遗忘，而在线强化学习需要与环境进行实时交互。为应对这一挑战，我们提出了步进优势策略蒸馏（SAPD），一种利用相对步进优势从离线轨迹中学习的方法。SAPD 将多轮轨迹分解为单个决策上下文以进行同策略蒸馏，使学生模型能够基于记录的历史生成响应，并引入相对步进优势信号以稳定训练。整个过程既不需要新的环境观测，也不需要额外的多轮交互。在 ALFWorld、WebShop 和基于搜索的问答上的实验表明，SAPD 在不同教师配置下均能提升性能，与 SFT 相比可缓解灾难性遗忘，且每个训练步骤的运行速度至少比在线 OPD 快 $4.7\times$。我们将很快发布代码。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.27847 [cs.AI] |
| （或 arXiv:2610.27847v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27847 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Juncheng Diao [查看电子邮件]
[v1]
2026年10月20日星期二 08:30:30 UTC（938 KB）
来源：arXiv cs.AI · arxiv.org