arXiv cs.AI· Kaijie Zhu, Weixiang Yan, Omar Attia, Abbas Kazerouni, Alexander Toshev, Andrew Szot·· 3 天前AI 评分36
LVRL：用 LLM 价值函数为智能体强化学习做信用分配
LLM Value Functions for Credit Assignment in Agentic RL
AI 导读
研究者提出 LLM Value Function RL（LVRL），利用预训练 LLM 的上下文学习能力估计策略感知的状态价值，无需微调独立 critic 即可实现步级信用分配。
正文 · AI 翻译
摘要：面向大语言模型（LLM）智能体的强化学习（RL）在具有稀疏结果奖励的长时程任务中仍具挑战性，此时将信用分配给单个动作十分困难。GRPO 等方法为所有动作分配相同的轨迹级优势，而基于评论家的方法需要额外学习一个价值函数，这可能代价高昂且不稳定。我们提出 LLM 价值函数强化学习（LVRL），它利用 LLM 的预训练知识和上下文学习能力来估计策略感知的状态价值，而无需微调单独的评论家。LVRL 以组上下文为条件来构建价值模型，并利用初始状态和终止状态的已知价值校准其预测，从而能够基于估计的价值差异进行步骤级信用分配。我们进一步将这一思想扩展到通过同策略蒸馏（OPD）从专家策略中学习，提出 LLM 价值函数 OPD（LVOPD），它将教师监督集中于与估计价值下降相关的动作。我们在多个智能体基准上评估了我们的方法：AppWorld、BabyAI 和 SWE-bench Verified。在策略规模（4B 到 32B）上，LVRL 始终且显著优于 GRPO 和 PPO。在 AppWorld 和 SWE-bench Verified 上，LVRL 相比 GRPO 的绝对提升最高分别达到 13.6 和 8.6 个百分点。值得注意的是，在像 BabyAI 这样需要扩展探索的任务上，LVRL 弥合了从完全失败到 75.0% 成功率的差距。此外，LVOPD 在 AppWorld 上相比标准蒸馏基线持续带来改进。最后，蒙特卡洛分析证实，我们冻结的评论家能够准确识别语义陷阱与恢复，证明 LVRL 能够从稀疏的终端结果中提取稳健的、策略感知的步骤级信用。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15840 [cs.LG] |
| （或 arXiv:2610.15840v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15840 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kaijie Zhu [查看邮箱]
[v1]
2026年10月11日星期日 18:46:50 UTC（14,543 KB）
来源：arXiv cs.AI · arxiv.org