arXiv cs.AI· Mahmoud Selim, Cristina Cipriani, Karl Henrik Johansson·· 3 天前AI 评分23
面向自动驾驶的交互约束离线强化学习框架 ICDP
Beyond Policy Support: Interaction Constrained Offline Reinforcement Learning for Autonomous Driving
AI 导读
针对离线强化学习在自动驾驶中面临的交互分布偏移（IDS）问题，研究者提出交互约束驾驶策略框架 ICDP，将联合支撑退化精确分解为 ego 支撑与残差交互支撑两部分，并通过对比密度比估计恢复后者，无需联合密度建模、周围智能体预测或反应式模拟器与世界模型 rollout。
正文 · AI 翻译
摘要：离线强化学习能够从固定数据集中实现由奖励驱动的策略改进，而无需在线探索，这使其在安全攸关领域尤其具有吸引力。然而，一个核心挑战是分布偏移：策略优化可能偏向于离线数据支持较弱的动作，从而使价值估计变得不可靠。现有方法主要在策略自身的动作空间中控制这种偏移。在自动驾驶等交互式环境中，这可能是不够的：一个候选自车轨迹在边缘行为分布下可能仍得到良好支持，但在与日志交互中观测到的周围智能体行为联合考虑时却支持不足。我们将这种交互支持的退化称为\emph{交互分布偏移}（IDS），并提出了\emph{交互约束驾驶策略}（ICDP），一个显式控制交互级分布偏移的离线强化学习框架。从自车与周围智能体未来轨迹的联合数据分布出发，我们证明联合支持的退化可以精确分解为自车支持分量和残余的交互支持分量。我们通过对比密度比估计来恢复后者，从而在策略优化过程中无需显式联合密度建模、周围智能体预测，也无需在反应式模拟器或学习到的世界模型中进行推演，即可分离出交互兼容性。在 nuPlan、Interplan 和真实卡车实验上的闭环评估表明，ICDP 抑制了高价值但交互不支持的轨迹选择，并提升了交互关键驾驶场景中的性能。项目网页：此 https URL
| 评论： | 更正了单位署名格式和一些拼写错误 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.09763 [cs.LG] |
| （或 arXiv:2610.09763v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09763 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Mahmoud Selim [查看电子邮件]
[v1]
2026年10月7日星期三 09:48:53 UTC（4,687 KB）
[v2]
2026年10月12日星期一 19:56:25 UTC（4,687 KB）
来源：arXiv cs.AI · arxiv.org