跳到正文
arXiv cs.AI· Siyuan Du, Yuxin Liu, Meng Tang, Haoran Li, Yechao Bai, Feiyang Pan, Jia He·· 10 小时前AI 评分31

从后往前:面向 LLM 智能体的逆向到正向课程与优势分解

Depth Before Breadth: Reverse-to-Forward Curriculum with Advantage Decomposition for LLM Agent

AI 导读

研究提出“策略诱导能力区域”视角,用配对优势与逆向到正向渐进课程解决 LLM 智能体稀疏终端奖励下的信用分配与探索难题。在 ALFWorld 和 WebShop 上,该方法在 Qwen2.5-1.5B/7B-Instruct 两个规模均优于竞争性智能体 RL 方法,成功率分别达 90.1%/96.1% 和 80.2%/82.6%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:强化学习(RL)已成为训练大语言模型(LLM)智能体完成长时程任务的常用方法。然而,从稀疏的终端奖励中学习会使信用分配和探索变得困难。我们通过策略诱导的能力区域来应对这些挑战,该区域是当前策略能够可靠完成任务的若干状态的集合。在其边界附近,智能体可能只需少数几个动作就能到达一个更易求解的状态,即使目标仍然遥远。这将长时程学习简化为两个耦合的子问题:到达该状态,以及从该状态完成任务。我们用成对优势和渐进式反向到正向课程来解决这两个问题。优势为到达更易求解的状态和从这些状态完成任务提供单独的信号,而课程则沿成功的参考轨迹向后扩展能力区域,然后通过同策略探索扩展到参考轨迹之外的状态。在 ALFWorld 和 WebShop 上,我们的方法在两个模型规模上都优于有竞争力的智能体强化学习方法,使用 Qwen2.5-1.5B/7B-Instruct 分别达到 90.1%/96.1% 和 80.2%/82.6% 的成功率。
主题: 人工智能(cs.AI)
引用为: arXiv:2611.24697 [cs.AI]
  (或 arXiv:2611.24697v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24697

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Meng Tang [查看邮箱]
[v1] 2026年11月18日星期三 16:25:14 UTC(1,226 KB)

来源:arXiv cs.AI · arxiv.org