arXiv cs.CL· Xiao Yu, Baolin Peng, Ruize Xu, Yelong Shen, Pengcheng He, Suman Nath, Nikhil Singh, Jiangfeng Gao, Zhou Yu·· 11 小时前AI 评分40
RWML：面向 LLM 智能体的强化世界模型学习
Reinforcement World Model Learning for LLM-based Agents
AI 导读
研究者提出强化世界模型学习（RWML），一种面向 LLM 智能体的自监督方法，用 sim-to-real gap 奖励在预训练嵌入空间中对齐模型模拟的下一状态与环境实际观测的下一状态。
正文 · AI 翻译
摘要：大语言模型（LLM）在以语言为中心的任务中取得了强劲表现。然而，在智能体场景中，LLM 往往难以预判动作后果并适应环境动态，这凸显了基于 LLM 的智能体对世界建模能力的需求。我们提出强化世界模型学习（RWML），一种自监督方法，利用仿真到现实的差距奖励，在文本状态上为基于 LLM 的智能体学习以动作为条件的世界模型。我们的方法将模型生成的模拟下一状态与环境观测到的实际下一状态对齐，在预训练嵌入空间中促使内部世界模拟与实际环境动态保持一致。与优先考虑 token 级保真度（即复现精确措辞）而非语义等价、并可能导致模型崩溃的下一状态 token 预测不同，我们的方法提供了更稳健的训练信号，且在实证上比 LLM-as-a-judge 更不易受奖励黑客攻击。我们在 ALFWorld 和 $\tau^2$ Bench 上评估了我们的方法，尽管未使用专家数据、任务成功奖励或强 LLM 标注——仅使用现成的嵌入模型作为距离度量——仍观察到相对基础模型的显著提升。当与任务成功奖励结合时，我们的方法在 ALFWorld 和 $\tau^2$ Bench 上分别比直接任务成功奖励强化学习高出 6.9 和 5.7 个点；它在 ALFWorld 上进一步优于专家数据训练，在 $\tau^2$ Bench 上则与之相当。
| 评论： | neurips 2026 相机就绪 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.05842 [cs.CL] |
| （或 arXiv:2602.05842v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.05842 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiao Yu [查看邮箱]
[v1]
2026年2月5日星期四 16:30:08 UTC（408 KB）
[v2]
2026年2月9日星期一 04:31:11 UTC（408 KB）
[v3]
2026年11月1日星期日 23:07:53 UTC（430 KB）
来源：arXiv cs.CL · arxiv.org