arXiv cs.AI· Nasim Fallahiarezoodar, Zheng H. Zhu·· 11 小时前AI 评分22
PPO 与 SAC 对比研究：双臂空间机器人协同运动控制
PPO vs. SAC: A Comparative Study for Cooperative Motion Control of Dual-Arm Space Robots
AI 导读
针对双臂空间机械臂在避碰约束下的协同运动规划，研究对比了 on-policy 的 PPO 与 off-policy 的 SAC。在五个随机种子下，SAC 全部达到 80% 成功率阈值（中位数 1.6M 环境步），平均成功率 78.6%，而 PPO 在 4M 步预算内未达标、仅 7.4%。
正文 · AI 翻译
摘要：轨道碎片数量的不断增长，加剧了人们对主动碎片清除和在轨服务的兴趣，而双臂空间机械臂相对于单臂系统在抓取稳定性和载荷分布方面具有优势。然而，在臂间避碰、姿态对齐和传感不确定性条件下协调两个机械臂仍然具有挑战性。本文针对双臂空间机械臂在具有臂间避碰约束的目标到达任务中的协同运动规划，开发了一种协同强化学习框架。集中式状态表示结合了关节空间、末端执行器和目标相对信息，而多目标奖励函数则促进目标到达精度、姿态对齐、运动平滑性、任务同步完成和避碰。在该框架内，将近端策略优化（PPO）和软演员-评论家（SAC）作为代表性的同策略和异策略算法进行比较，并进一步评估所学策略对先前未见目标配置的泛化能力。在五个随机种子下，SAC 在所考虑的固定基座仿真场景中显著优于 PPO：它在每个种子中都达到 80% 的成功阈值（中位数 1.6M 环境步），而 PPO 在 4M 步预算内未达到该阈值，并且 SAC 获得了更高的平均成功率（78.6% 对 7.4%），位置和姿态误差更低，双臂同步更紧密。两种算法在未见过的边界目标上均出现性能下降，但 SAC 保留了大部分性能，而 PPO 的性能则崩溃。结果还揭示了 PPO 的一种失败模式：在两阶段塑形奖励下，它倾向于收敛到奖励徘徊的局部最优，而不是致力于精度任务。这种行为凸显了同策略学习对奖励塑形的敏感性。
| 评论： | 发表于 2026 年 AAS/AIAA 天体动力学专家会议，加拿大不列颠哥伦比亚省惠斯勒，2026 年 7 月 26-30 日。论文 AAS 26-740 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32034 [cs.AI] |
| （或此版本的 arXiv:2610.32034v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.32034 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nasim Fallahiarezoodar [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 01:22:07 UTC（521 KB）
来源：arXiv cs.AI · arxiv.org