arXiv cs.AI· Deepak Kumar Panda, Adolfo Perrusquia, Weisi Guo·· 3 天前AI 评分22
面向对抗环境下无人机冲突消解的课程自适应鲁棒强化学习
Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments
AI 导读
研究者提出课程引导的自适应框架 CurAd，通过逐步施加梯度对抗观测扰动并对齐各课程阶段的 TD 误差分布，让鲁棒策略泛化到未见攻击。在动态 3D 障碍的无人机冲突消解环境中，固定 GNSS 欺骗攻击下 CurAd 任务成功率达约 99-100%，最优鲁棒基线仅 20-24%；动态障碍诱导欺骗下其回合奖励最高，任务完成步数中位数最多减少 22%。
正文 · AI 翻译
摘要：自主无人机（UAV）的导航日益依赖强化学习（RL），然而全球导航卫星系统（GNSS）欺骗攻击会引发分布外观测偏移，从而破坏价值估计并降低任务性能。现有的鲁棒 RL 方法往往缺乏对未见攻击的泛化能力。为解决这一问题，我们提出了一种课程引导的自适应框架，该框架逐步让鲁棒策略暴露于强度递增的基于梯度的对抗性观测扰动，同时对齐各课程阶段的时间差分（TD）误差分布。通过保持 TD 误差一致性而非针对特定攻击模型，该框架提升了跨攻击条件的韧性。我们进一步推导出一个 TD 空间泛化证书，当测试时攻击下的 TD 误差分布与最终课程阶段的分布足够接近时，该证书可界定性能退化程度。我们在一个具有动态 3D 障碍物的无人机冲突消解环境中，针对未见过的固定和动态 GNSS 欺骗攻击评估了该框架。在固定欺骗下，课程自适应（CurAd）策略在所评估的交通密度下实现了约 99-100% 的任务成功率，而表现最佳的鲁棒基线仅为 20-24%，同时也优于非鲁棒的原始基线。在动态障碍诱导欺骗下，CurAd 取得了最高的回合奖励，并且相对于表现最佳的鲁棒 RL 基线，将任务完成步数中位数最多减少了 22%。这些发现表明，对抗性课程自适应能够将韧性从合成扰动迁移到未见过的 GNSS 欺骗攻击，而无需针对特定攻击进行再训练，从而增强了鲁棒的自主无人机导航。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2506.21129 [cs.LG] |
| （或使用 arXiv:2506.21129v3 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2506.21129 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Deepak Kumar Panda [查看邮箱]
[v1]
2025年6月26日星期四 10:10:41 UTC（621 KB）
[v2]
2026年6月2日星期二 15:41:02 UTC（2,889 KB）
[v3]
2026年10月10日星期六 08:56:36 UTC（2,834 KB）
来源：arXiv cs.AI · arxiv.org