arXiv cs.AI· William Hoy, Jingxuan Fan, Nurcin Celik, Xu Pan·· 2 天前AI 评分27
异步对进化策略在长程 LLM 智能体任务上几乎无代价
Asynchrony Is Nearly Free for Evolution Strategies on Long-Horizon LLM Agentic Tasks
AI 导读
研究提出有界陈旧度异步进化策略（bounded-staleness asynchronous ES），在 WebShop 上系统改变策略滞后程度与陈旧适应度测量比例，并设计两项压力测试探测极端陈旧情形。结果显示自然异步几乎与同步 ES 表现持平，即便全部适应度测量均陈旧，评估精度下降仍很小，表明 ES 无需显式离策略校正即可容忍显著策略陈旧，支持其用于长程 LLM 智能体的异步后训练。
正文 · AI 翻译
摘要：同步策略更新会限制长时程 LLM 智能体后训练的的效率。当轨迹跨越多个交互轮次时，完成时间可能差异很大，而同步更新屏障会让较快的 worker 空转，浪费计算资源。异步强化学习解决了这一低效问题，但引入了策略滞后和离策略优化。进化策略（ES）是梯度训练的一种无反向传播替代方案，但需要大量扰动策略评估，并且在当前的 LLM 后训练中基本仍保持同步。我们引入了有界陈旧度异步 ES，并研究了其在陈旧适应度测量下的训练行为。在 WebShop 上，我们系统地改变滞后程度和过时适应度测量的比例，并额外引入两个压力测试来探究极端陈旧情况。自然异步与同步 ES 表现非常接近，即使在极端陈旧情况下，包括所有适应度测量都过时的情况下，评估准确率的下降仍然很小。这些发现表明，ES 能够容忍显著的策略陈旧，而无需显式的离策略校正，这支持其用于长时程 LLM 智能体的异步后训练。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.04196 [cs.AI] |
| （或使用 arXiv:2610.04196v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.04196 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：William Hoy [查看电子邮件]
[v1]
2026年10月3日星期六 01:18:02 UTC（648 KB）
[v2]
2026年10月14日星期三 16:48:33 UTC（219 KB）
来源：arXiv cs.AI · arxiv.org