arXiv cs.AI· Pu Li, Zhigang Lin, Qiang Wu, Yongxuan Lv, Fei Wang, Shan You·· 3 天前AI 评分22
Reward as an Agent：用智能体奖励框架与 DynDiff-GRPO 扩展具身世界模型强化学习
Reward as An Agent for Embodied World Models
AI 导读
研究提出 Reward as an Agent 智能体奖励框架，主动评估生成行为以提供稳健奖励信号，缓解分布偏移下的 reward hacking。配合 DynDiff-GRPO 的 Dynamic-Aware Rollout Diversification 扩展动作空间探索，两者结合在多个开源世界模型上取得显著准确率提升，表明更广探索在可靠验证基础上可成功扩展。
正文 · AI 翻译
摘要：尽管强化学习已成为改进世界模型的一种有前景的工具，但现有方法在很大程度上依赖于训练分布附近的保守采样，限制了探索、行为多样性以及更丰富的动态发现。在这项工作中，我们挑战这种保守范式。我们认为，核心限制并非探索本身，而是缺乏可靠的验证策略来支持更广泛的探索。没有可靠的验证，扩展的探索极易受到奖励黑客攻击的影响，即策略利用不完善的奖励而未实现真正的改进。为评估这一动机，我们在具身世界模型中实例化我们的方法，其中物理合理性和任务完成度为复杂动态下的可扩展强化学习提供了严格的测试平台。在验证方面，我们引入了 Reward as an Agent，一种智能体奖励框架，主动评估生成的行为，以提供稳健的奖励信号并缓解分布偏移下的奖励黑客攻击。在探索方面，我们通过 DynDiff-GRPO 引入了动态感知的采样多样化，明确扩展动作空间探索以多样化轨迹、拓宽状态-动作覆盖范围，并鼓励超越保守采样机制的更丰富的具身行为。通过将 Reward as an Agent 与 DynDiff-GRPO 统一起来，我们使强化学习建立在更可靠的奖励基础上，并实现大幅多样化的采样，有效缓解奖励黑客攻击，同时在多个开源世界模型上取得显著的准确率提升，从而表明当以稳健验证为基础时，更广泛的探索可以成功扩展。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.19990 [cs.AI] |
| （或 arXiv:2606.19990v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.19990 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pu Li [查看邮箱]
[v1]
2026年6月18日星期四 09:29:30 UTC（11,233 KB）
[v2]
2026年7月7日星期二 06:30:29 UTC（11,233 KB）
[v3]
2026年10月12日星期一 11:51:14 UTC（8,822 KB）
来源：arXiv cs.AI · arxiv.org