arXiv cs.AI· Daphne Cornelisse, Julian Hunt, Zixu Zhang, Wa\"el Doulazmi, Kevin Joseph, Jaime Fern\'andez Fisac, Eugene Vinitsky·· 3 天前AI 评分37
自我对弈加少量人类数据，让驾驶策略学会类人自主性
Human-like autonomy emerges from self-play and a pinch of human data
AI 导读
一项被 CoRL 2026 接收的研究提出，在最小安全到达奖励之上把人类演示当作正则化目标，仅用 30 分钟人类演示数据（比同类模仿学习方法少 2500 倍）即可让自我对弈训练出的驾驶策略与人类轨迹协调一致。该方法在单块消费级 GPU 上 15 小时完成训练，缓解了纯自我对弈策略行为约定与人不兼容的问题。
正文 · AI 翻译
摘要：自对弈强化学习最近作为一种无需任何人类数据即可训练驾驶策略的方法而出现。它利用廉价的大规模仿真来替代昂贵的大规模人类驾驶演示。这种方法的一个关键局限是，通过纯自对弈训练出的策略可能学到有效但与人类不兼容的异类驾驶惯例。先前的工作试图通过大量的奖励工程和域随机化来缓解这种行为错位，但这些方法脆弱且耗费人力。我们的方法不是完全丢弃人类演示，而是将其视为在最小安全目标达成奖励之上的正则化目标。就像一锅好炖菜中的香料一样，我们发现少量人类数据就能发挥巨大作用：我们的方法仅使用 30 分钟的人类演示，比同类模仿学习方法少 2500 倍。由此产生的策略能够与留出的人类轨迹协调，并在单块消费级 GPU 上于 15 小时内完成训练。视频和完整源代码可在 此 https URL 获取。
| 评论： | 9 页，已被 CORL 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2606.19370 [cs.LG] |
| （或使用 arXiv:2606.19370v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.19370 arXiv 颁发的 DOI，经由 DataCite |
|
| 期刊 参考： | 第 10 届机器人学习会议（CoRL 2026），美国德克萨斯州奥斯汀 |
提交历史
来自：Daphne Cornelisse [查看电子邮件]
[v1]
2026 年 6 月 11 日星期四 19:16:53 UTC（6,632 KB）
[v2]
2026 年 10 月 12 日星期一 19:48:50 UTC（4,041 KB）
来源：arXiv cs.AI · arxiv.org