arXiv cs.AI· Darshan Deshpande·· 9 天前AI 评分41
掩码扩散语言模型成为智能体 RL 的强可控文本世界模型
Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL
AI 导读
研究将文本世界建模形式化为可引导的状态转移问题，并构建了覆盖九个开源环境、十二个前沿模型家族的 239,403 条状态-动作轨迹。实验显示，掩码扩散语言模型（MDLM）通过双向锚点感知去噪，在连贯性、接地性和 rollout 多样性上优于参数量 4 倍于己的大语言模型，且推理延迟相当。
正文 · AI 翻译
摘要：强化学习（RL）近期的增长催生了对多样化、专业化训练环境的需求。随着模型性能的提升，任务和奖励难度固定的手工整理环境会变得无效，而长时程上的稀疏奖励会导致在特定工作流或工具结构上的模式崩溃。模拟环境状态的世界模型已能达到与纯 rollout 相当的性能，使其有望按需扩展多样性。然而，自回归（AR）世界模型存在从左到右的偏差，无法以全局相互依赖的状态锚点（如工具模式、先前轮次和预期结果）为条件。我们 (i) 将基于文本的世界建模形式化为一个可引导的转移动力学问题，分解为初始状态、任务上下文、工具模式、领域规则和引导指令，并 (ii) 整理了 239,403 条有依据的状态-动作轨迹，涵盖九个开源环境和十二个前沿模型系列。我们比较了 AR 语言模型和掩码扩散语言模型（MDLM），表明 MDLM 通过双向锚点感知去噪，在连贯性、有依据性和经实证验证的 rollout 多样性方面优于参数量为其 4 倍以上的 LLM，且推理延迟相当。我们引入了一个即插即用的 GRPO 训练框架，具有确定性状态检查，并在三个 OOD 环境（ScienceWorld、ALFWorld、AppWorld）上对三个 1.2B-7B 智能体骨干（LFM2.5、Qwen3、Mistral）进行了零样本迁移消融实验，在无需环境特定微调的情况下，相较基线取得了高达 47% 的绝对提升。我们进一步对对抗场景下的失败模式进行了行为分析，并就真实性、结果正确性和训练效用进行了人工评估。我们开源了我们的工作，以鼓励这一方向的研究。
| 评论： | 被 NeurIPS 2026 接收 数据集：此 https URL 训练代码：此 https URL |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.16204 [cs.AI] |
| （或 arXiv:2607.16204v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.16204 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Darshan Deshpande [查看电子邮件]
[v1]
2026年5月7日星期四 00:40:32 UTC（211 KB）
[v2]
2026年10月7日星期三 21:03:07 UTC（1,364 KB）
来源：arXiv cs.AI · arxiv.org