arXiv cs.AI· Adam Abdin (LGI)·· 1 天前AI 评分20
基于分布式强化学习的多目标在轨巡检风险敏感任务规划
Risk-Sensitive Mission Planning for Multi-Target On-Orbit Inspection via Distributional Reinforcement Learning
AI 导读
研究提出一种基于分布式强化学习的自适应规划方法，用于低轨多目标在轨服务任务，采用 QR-DQN 智能体通过均值-方差准则联合考虑预测回报的期望与方差来选择下一个巡检目标。在五个目标卫星场景的数值实验中，仅调整一个风险厌恶权重即可在环境与奖励不变的情况下移动策略的均值回报与方差区间；风险厌恶智能体将回合回报方差降低约一半并降低任务失败概率，代价是均值回报有所下降。
正文 · AI 翻译
摘要：多目标在轨服务任务需要规划工具，这些工具能够适应不断变化的运行条件，同时考虑到安全关键型航天飞行所固有的结果变异性。本文提出了一种用于低地球轨道多目标服务活动的自适应规划方法，并将其应用于由低推力服务航天器执行的检查任务。该方法基于分布式强化学习，学习任务回报的完整分布，从而在每一步规划中支持显式的风险敏感决策。具体而言，分位数回归深度 Q 网络（QR-DQN）智能体通过均值-方差准则，联合考虑预测回报的期望和方差，来选择下一个要检查的目标。任务环境对具有倾角分布的圆轨道进行建模，并使用 Edelbaum 的联合机动低推力转移估计。观测包括轨道要素、访问历史、每个目标的观测风险状态以及剩余任务时间预算。每个目标的风险状态在活动期间随机变化，使得检查结果具有不确定性，并在风险中性和风险规避规划策略之间产生具有运行意义的区别。由于任务时间预算通常只允许检查候选目标的一个子集，规划器还必须选择要检查哪些目标。在五个目标卫星场景上的数值实验表明，在环境和奖励不变的情况下，一个风险规避权重即可使策略在一系列平均回报和回报方差之间移动。与风险中性智能体相比，风险规避智能体将回合回报的方差降低约一半，并降低了任务失败的概率，代价是平均回报有所降低。为了验证学习到的策略，通过枚举可允许的访问顺序，精确计算了有效前沿，即在每个回报方差水平上可达到的最高平均回报。在相同方差下，学习到的策略在平均回报上接近该前沿，且风险规避策略的任务失败概率低于前沿策略。
| 主题： | 人工智能（cs.AI）；优化与控制（math.OC） |
| 引用为： | arXiv:2610.41647 [cs.AI] |
| （或 arXiv:2610.41647v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41647 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 第77届国际宇航大会（IAC），国际宇航联合会（IAF），2026年10月，安塔利亚（土耳其），土耳其 |
提交历史
来自：Adam Abdin [查看电子邮件] [通过 CCSD 代理]
[v1]
2026年10月30日星期五 12:20:29 UTC（312 KB）
来源：arXiv cs.AI · arxiv.org