arXiv cs.AI· Oriol Corcoll, Qiyao Wei, Ciar\'{a}n Mark Gilligan-Lee·· 6 天前AI 评分35
超越时间邻近性：用于强化学习信用分配的 Explanatory World Models
Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
AI 导读
研究者提出 Explanatory World Models（EWM），一种利用解释识别早期事件与最终结果因果关联的信用分配框架，并用前沿语言模型实例化，通过保守的层级算子递归重分配奖励且保持无折扣回合回报不变。
正文 · AI 翻译
摘要：生成式推荐系统越来越多地使用强化学习（RL）来优化可能在决策后数百或数千次交互才显现的结果。标准 RL 根据时间接近程度而非显式相关性来传播奖励，从而削弱了分配给遥远但重要动作的信号，并造成样本效率低下的来源。我们引入解释性世界模型（EWM），一种归因框架，利用解释来识别可能对已实现结果有所贡献的早期事件。我们用一个前沿语言模型实例化 EWM，并将其解释作为学习信号，使用一个保守的层级算子，在保持未折扣回合回报的同时递归地重新分配奖励。为了探究什么构成有用的解释，我们基于 Halpern 的实际因果关系、Lombrozo 的解释简洁性和 Deutsch 的难以变易的解释，操作化了三种互补的变体。我们在两个受控的长时程 RL 基准、一个公开的序列推荐基准和一个工业规模的生成式推荐系统上评估 EWM。在 Crafter 和 WordCraft 上，EWM 大幅优于 PPO 和 LaRe，在奖励延迟最严重时增益最大。在 KuaiRand 上，EWM 在离线设置下优于 SFT 和 LaRe，在线设置下优于 A2C。最后，在对一个工业生成式推荐系统的离线评估中，EWM 显著提高了 Recall 并增加了行为代理指标。这些结果表明，解释可以为从延迟结果中学习提供结构化且可复用的信用分配。
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI）；信息检索（cs.IR） |
| Cite as: | arXiv:2610.13504 [cs.LG] |
| （或 arXiv:2610.13504v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13504 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Oriol Corcoll [查看电子邮件]
[v1]
2026年10月9日星期五 12:30:14 UTC（999 KB）
来源：arXiv cs.AI · arxiv.org