arXiv cs.AI· Shixuan Liu, Cheng Tang, Yuzheng Hu, Fan Wu, Han Zhao, Jiaqi W. Ma·· 12 小时前AI 评分31
RL-IF：追踪在线强化学习中的非局部训练数据影响
RL-IF: Tracking Non-local Training Data Influence for Online Reinforcement Learning
AI 导读
研究提出 RL-IF，一种追踪在线强化学习跨多轮训练数据影响的一阶估计器，可同时传播优化效应与策略引发的采样效应，并给出平滑性假设下的近似精度理论保证。基于该分析开发的 RINSE 数据过滤方法，在标准控制基准和 RLHF 风格毒性缓解任务上，训练效率与最终性能均优于标准 PPO 和局部归因基线。
正文 · AI 翻译
摘要：在线强化学习（RL）在决策任务中取得了显著成功，但现代在线 RL 仍然对训练经验的质量高度敏感。因此，理解单个训练实例的贡献对于以数据为中心的 RL 至关重要，其应用范围从经验选择到策略解释。现有的在线 RL 数据归因方法主要关注单轮训练内的局部影响，忽略了跨多轮训练的非局部数据影响。在本工作中，我们通过轨迹级留一量 RL-LOO 形式化在线 RL 中的数据归因，该量衡量在后续在线更新发生之后，一个训练样本如何影响下游目标。随后我们推导出 RL-IF，一种一阶估计器，它通过优化效应和策略诱导的采样效应传播数据影响，并在平滑性假设下为其近似精度提供理论保证。我们的分析进一步解耦了这两种效应，并从理论和实证上表明，完整的 RL-IF 估计器通常可以仅用优化效应就很好地近似。基于这一观察，我们开发了 RINSE，一种用于在线 RL 的实用数据过滤方法。在标准控制基准和 RLHF 风格的毒性缓解设置上的实验表明，与标准 PPO 和局部归因基线相比，RINSE 提高了训练效率和最终性能。这些结果表明，RL-IF 为理解和改进在线 RL 提供了一个实用且有原则的框架。
| 评论： | NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28883 [cs.LG] |
| （或 arXiv:2610.28883v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28883 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shixuan Liu [查看邮箱]
[v1]
2026年10月20日星期二 20:01:25 UTC（2,903 KB）
来源：arXiv cs.AI · arxiv.org