arXiv cs.AI· Jiongxiao Wang, Han Ding, Youzhi Luo, Yawei Wang, Yun Zhou, Linbo Liu, Panpan Xu·· 12 小时前AI 评分34
PAWM：用坑点预判世界模型引导黑盒 LLM 智能体
Steering Black-Box Large Language Model Agents with Pitfall Anticipation World Model
AI 导读
研究者提出坑点预判世界模型 PAWM，在潜在坑点出现时选择性介入并预测即将发生的失败，从而引导黑盒 LLM 智能体避开陷阱。PAWM 先在有智能体坑点标注的合成数据上做 SFT，再与黑盒 LLM 通过 GRPO 协同训练。它使 Claude Sonnet 4.5 在 ScienceWorld 上提升 24.3%、在 WebArena-Lite 上提升 7.7%，优于多种基线。
正文 · AI 翻译
摘要：前沿的黑盒大型语言模型（LLM）智能体擅长长程推理和精确动作生成。然而，当面对特定的智能体任务时，它们并不内化该特定环境如何展开的知识。世界模型提供了一种自然的补救方案，通过预见环境将如何响应智能体即将采取的动作，为智能体提供环境特定的知识。以往面向 LLM 智能体的世界模型主要在每一步预测下一观测，这种方式成本高昂且往往信息量有限，因为单个观测提供的任务相关指导有限，而且并非每一步都需要调用预见能力。这引出了一个关键问题：对于智能体任务，世界模型应该预测什么，又应该在何时被调用？我们的初步研究表明，当世界模型在有限的多步未来内预判陷阱时，其指导最为有用。受此启发，我们提出了陷阱预判世界模型（PAWM），它在潜在陷阱出现时选择性地介入，并预测即将发生的失败，从而引导智能体避开它。PAWM 分两个阶段训练：首先在标注了智能体陷阱的合成数据上进行监督微调（SFT），然后与黑盒 LLM 进行 GRPO 协同训练，以在目标环境中进一步优化它。PAWM 将 Claude Sonnet 4.5 在 ScienceWorld 上的性能提升了 24.3%，在 WebArena-Lite 上提升了 7.7%，优于一系列基线方法。这些结果表明，PAWM 为黑盒 LLM 智能体提供了一种有效的世界模型指导形式。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.29139 [cs.AI] |
| （或 arXiv:2610.29139v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29139 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiongxiao Wang [查看邮箱]
[v1]
2026年10月21日 星期三 03:20:32 UTC（3,179 KB）
来源：arXiv cs.AI · arxiv.org