arXiv cs.CL· Joey Hong, Kang Liu, Zhan Ling, Jiecao Chen, Sergey Levine·· 10 小时前AI 评分36
Natural Language Actor-Critic：在语言空间中实现可扩展的离策略学习
Natural Language Actor-Critic: Scalable Off-Policy Learning in Language Space
AI 导读
研究者提出 Natural Language Actor-Critic（NLAC），一种用生成式 LLM 评论家输出自然语言而非标量值的 actor-critic 算法，可无需策略梯度进行离策略训练。该方法在推理、网页浏览和带对话的工具使用任务上展现出优于现有训练方法的潜力，为 LLM 智能体提供更可扩展、更稳定的训练范式。论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体——即在长时间跨度内与环境动态交互的 LLM——已成为日益重要的研究领域，使涉及工具使用、网页浏览和与人对话的复杂任务得以自动化。在缺乏专家演示的情况下，训练 LLM 智能体一直依赖于策略梯度方法，即针对（通常是稀疏的）奖励函数优化 LLM 策略。然而，在奖励稀疏的长时程任务中，从轨迹级奖励中学习可能带有噪声，导致训练不稳定且样本复杂度高。此外，策略改进取决于通过探索发现更好的动作，而当动作位于自然语言空间时，这可能十分困难。在本文中，我们提出自然语言演员-评论家（NLAC），这是一种新颖的演员-评论家算法，它使用生成式 LLM 评论家来训练 LLM 策略，该评论家产生自然语言而非标量值。这种方法利用了 LLM 的固有优势，提供更丰富、更具可操作性的训练信号；特别是在动作空间庞大且开放的任务中，关于某个动作为何次优的自然语言解释，对于 LLM 策略在不依赖随机探索的情况下推理如何改进其动作可能极为有用。此外，我们的方法可以在不依赖策略梯度的情况下进行离策略训练，为现有的同策略方法提供了一种更数据高效且更稳定的替代方案。我们展示了在推理、网页浏览以及带对话的工具使用等混合任务上的结果，表明 NLAC 在超越现有训练方法方面展现出潜力，并为 LLM 智能体提供了一种更具可扩展性和更稳定的训练范式。
| 评论： | NeurIPS 2026；28 页，5 幅图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2512.04601 [cs.LG] |
| （或 arXiv:2512.04601v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.04601 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Joey Hong [查看邮箱]
[v1]
2025 年 12 月 4 日星期四 09:21:44 UTC（2,391 KB）
[v2]
2026 年 2 月 2 日星期一 22:54:14 UTC（2,409 KB）
[v3]
2026 年 10 月 30 日星期五 07:16:45 UTC（1,223 KB）
来源：arXiv cs.CL · arxiv.org