跳到正文
arXiv cs.AI· Jiaqi Wu, Yongqi Dong, Yijie Zhong, Maple Shao, Yide Tao, Linsen Cai, Weize Cai, Hai L. Vu, Alvaro Garcia Hernandez·· 23 小时前AI 评分18

基于冻结世界模型的残差引导轻量强化学习用于风险感知轨迹选择

Residual-Guided Lightweight Reinforcement Learning for Risk-Aware Trajectory Selection with a Frozen World Model

AI 导读

研究提出一种残差引导强化学习框架,在冻结世界模型与固定候选轨迹库下用PPO微调候选选择与有界轨迹残差的联合策略,微调仅更新16,106个参数,部署时只保留11,725参数的排序网络。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在自动驾驶中,世界模型为评估候选轨迹提供未来场景预测,但固定的选择规则可能无法捕捉随场景变化的权衡。我们提出了一种残差引导的强化学习(RL)框架,用于在冻结的世界模型和固定候选库下进行轻量级轨迹选择。该框架使用近端策略优化(PPO)来微调一个联合策略,该策略同时处理候选选择和有界轨迹残差。一个上下文条件排序网络从通过评估所选轨迹的局部扰动所获得的反馈中学习候选偏好。在推理时,选择器使用固定权重结合学习到的偏好和预测风险排名,并原样返回所选候选轨迹。微调更新了 actor 和 critic 中的 16,106 个参数,而部署的选择器仅保留 11,725 个参数的排序网络,残差分支和 critic 仅在训练期间使用。在 nuScenes 验证集上的开环评估中,该方法相对于未使用基于 RL 选择的 RiskWorld 模型基线,将平均欧几里得轨迹误差(L2)降低了 3.99%。在反馈访问和 actor 更新的匹配预算下,残差探索相对于未使用残差训练的分类 PPO 变体将 L2 降低了 0.83%。当移除或打乱风险特征时,该方法也保持比 RiskWorld 更低的 L2。
Comments: 6 页,2 幅图
Subjects: 人工智能(cs.AI);新兴技术(cs.ET);机器学习(cs.LG);机器人学(cs.RO);系统与控制(eess.SY)
Cite as: arXiv:2611.22998 [cs.AI]
  (或使用 arXiv:2611.22998v1 [cs.AI] 查看此版本)
  https://doi.org/10.48550/arXiv.2611.22998

由 DataCite 颁发的 arXiv DOI(待注册)

Submission history

来自:Yongqi Dong [查看邮箱]
[v1] 2026年11月17日星期二 16:12:55 UTC(17,982 KB)

来源:arXiv cs.AI · arxiv.org