arXiv cs.CL· Maolin Ran, Minda Chen, Di Huang, Wei Xiong, Fei Huang, Weiwen Liu·· 3 天前AI 评分24
DGS-WM：面向语言智能体的决策引导选择性世界建模
Model What Matters: Decision-Guided Selective World Modeling for Language Agents
AI 导读
针对语言智能体强化学习中奖励稀疏、缺乏对动作后果显式监督的问题，研究者提出 DGS-WM（决策引导选择性世界建模），通过决策引导观测选择筛选有决策价值的观测单元作为世界建模目标，并用置信度自适应加权调整监督强度，与 RL 损失在同一策略模型上联合优化。在单跳/多跳问答和交互式网页任务等多个 benchmark 上，DGS-WM 在不同模型规模和 RL 算法下均取得一致提升，优于全观测世界建模方法。
正文 · AI 翻译
摘要：强化学习为大型语言模型驱动的智能体提供了一种直接优化任务目标的机制，但任务奖励通常是稀疏的轨迹级信号，仅评估任务是否成功，而不直接监督以动作为条件的环境转移，导致模型对动作后果和环境动态的显式理解有限。近期工作通过策略与世界建模协同训练引入辅助监督，但通常将完整的环境观测统一视为世界建模目标，忽视了观测内容在决策相关性上的差异。我们提出 DGS-WM（Decision-Guided Selective World Modeling，决策引导的选择性世界建模），一种面向语言智能体的决策引导策略-世界建模协同训练方法。DGS-WM 采用决策引导的观测选择组件，根据观测单元对后续策略响应的支持程度，筛选出具有决策价值的观测单元作为世界建模目标；并采用置信度自适应加权组件，根据模型对所选目标的预测置信度自适应调整监督强度。这些组件共同构成决策感知的辅助世界建模损失，与同一策略模型上的 RL 损失联合优化。在涵盖单跳/多跳问答和交互式网页任务的多个基准上，DGS-WM 在不同模型规模和 RL 算法下均取得一致提升，相比全观测世界建模方法展现出更稳定、更有效的性能。
| 评论： | 核心实现作为附加文件包含在内 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19642 [cs.AI] |
| （或使用 arXiv:2610.19642v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.19642 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Maolin Ran [查看邮箱]
[v1]
2026年10月14日星期三 06:11:08 UTC（320 KB）
来源：arXiv cs.CL · arxiv.org