arXiv cs.AI· Anish Diwan, Jan Peters, Oleg Arenz·· 3 天前AI 评分20
逆强化学习中奖励函数更新的几何视角
A Geometric Perspective on Reward Function Updates in Inverse Reinforcement Learning
AI 导读
该论文从占用空间（occupancy space）视角重新审视逆强化学习中的奖励更新，发现沿 e-geodesic 的几何结构直接影响 IRL 对偶问题在奖励参数空间中的梯度。
正文 · AI 翻译
摘要：逆强化学习（IRL）经典上通过拉格朗日优化求解，即用梯度下降联合优化一个原始-对偶问题，以获得最优奖励函数参数及相应的最优策略。尽管这种 IRL 的算法视角影响深远，但基于梯度的奖励更新只描绘了部分图景，在很大程度上忽略了占用空间中问题的几何结构。在本文中，我们提出了 IRL 中奖励更新的占用空间视角。我们利用最优解及其在占用空间中的几何结构均为已知这一洞见，表明沿 e-测地线（占用空间中的直线）朝向最优占用的几何结构直接影响奖励参数空间中 IRL 对偶问题的梯度。这一视角自然地建议用占用轨迹上的平均 Fisher 信息对对偶梯度进行预条件处理。我们表明，这种预条件梯度只是旧奖励与新目标奖励的凸插值，从而产生高效的自然梯度式更新，且额外计算开销很小。随后，我们从镜像下降（MD）的角度分析这些占用空间奖励更新，并表明对所得奖励进行策略搜索会在策略上诱导出近似熵 MD。最后，我们给出此类几何感知 IRL 算法的收敛性结果。
| 评论： | 被接收为第 40 届神经信息处理系统大会（NeurIPS 2026）会议论文 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.14041 [cs.LG] |
| （或本版本的 arXiv:2610.14041v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.14041 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anish Abhijit Diwan [查看电子邮件]
[v1]
2026 年 10 月 2 日星期五 18:13:35 UTC（121 KB）
来源：arXiv cs.AI · arxiv.org