arXiv cs.CL· Guangfeng Cai, Kaibing Yang, Shuo He, Yu Li, Shengtian Yang, Jiaqi Lv, Lei Feng·· 11 小时前AI 评分34
AAWM：让 LLM 智能体按自身决策需求构建世界模型，替代下一观测预测
Beyond Next-Observation Prediction: Agent-Authored World Modeling for Sequential Decision Making
AI 导读
研究者提出 Agent-Authored World Modeling（AAWM），一种从策略自身决策需求出发构建监督信号的训练方法，替代传统的下一观测预测目标。
正文 · AI 翻译
摘要：近期关于大型语言模型（LLM）智能体世界建模的研究通常将学习目标设定为下一观测预测。然而，该目标将监督信号绑定于转移恰好揭示的内容，可能遗漏与智能体当前决策最相关的动态。为弥合这一差距，我们提出智能体自主世界建模（AAWM），一种从策略自身决策需求构建监督信号的训练流程。具体而言，在每个状态，智能体在行动前识别其需要理解的环境内容。这些需求驱动跨轨迹检索相关转移证据，随后将其综合为训练目标，以捕捉面向决策的动态，而非重建下一观测。这使训练目标与策略在行动前所需的动态对齐，而非与下一观测的内容对齐。实验结果在多种环境和训练设置下验证了 AAWM 的有效性。这些结果表明，决策感知的世界模型目标比下一观测预测提供了更有效的学习信号。
| 评论： | 已被 EMNLP 2026（主会议）接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.25421 [cs.CL] |
| （或 arXiv:2606.25421v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.25421 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP 2026), pp. 13781-13800, 2026 |
| 相关 DOI： | https://doi.org/10.18653/2026.emnlp-main.599
链接到相关资源的 DOI |
提交历史
来自：Guangfeng Cai [查看电子邮件]
[v1]
2026年6月24日星期三 05:31:00 UTC（678 KB）
[v2]
2026年11月1日星期日 17:46:18 UTC（684 KB）
来源：arXiv cs.CL · arxiv.org