arXiv cs.AI· Xiao Wang, Shun-Ren Yang·· 10 小时前AI 评分24
JUDOR:基于 CTDE 的多智能体强化学习框架,联合优化无人机运动与去中心化机会路由
JUDOR: CTDE-Based Multi-Agent Reinforcement Learning for the Co-Optimization of Joint UAV Motion and Decentralized Opportunistic Routing in Delay-Tolerant Network
AI 导读
JUDOR 是一个基于 CTDE 的多智能体强化学习框架,将无人机离散航向控制与去中心化机会路由建模为带共享团队奖励的因子化部分可观测马尔可夫决策过程,训练时用集中式 critic、执行时用去中心化 actor。在四种流量模式下,JUDOR 相较 PRoPHET、MaxProp 等经典与学习型 DTN 基线均取得稳定性能提升,并保持适合实际部署的接触受限去中心化执行。
正文 · AI 翻译
摘要:随着容迟网络(DTN)部署规模不断扩大,存储-携带-转发(SCF)通信已成为在稀疏间歇性连接条件下运行不可或缺的手段。然而,间歇性的接触机会、有限的节点缓冲区以及有限的消息生存时间(TTL)会降低消息投递性能并引发网络拥塞。而无人机(UAV)凭借更广的无线电覆盖范围和可控的飞行轨迹,能够为原本连接质量较差的地面节点对搭建桥梁。然而,传统路由方案将无人机运动控制与消息复制解耦,因而无法利用无人机移动性主动创造未来的接触机会。本文提出 JUDOR(Joint-UAV-Decentralized-Opportunistic-Routing,联合无人机去中心化机会路由),这是一个基于集中训练与分散执行(CTDE)的多智能体强化学习框架,针对无人机离散航向控制与去中心化机会路由的联合优化而设计。具体而言,我们将紧密耦合的无人机运动-路由协同优化任务建模为具有共享团队奖励的因子化部分可观测马尔可夫决策过程。JUDOR 采用去中心化执行者进行本地节点执行,并采用仅在训练中使用的集中式评论者,同时可选地引入多时间尺度拥塞热点辅助监督。通过在四种不同流量模式下的评估,JUDOR 相较经典与基于学习的 DTN 基线(包括 PRoPHET 和 MaxProp)均取得了一致的性能提升,同时保持了适用于真实 DTN 部署的接触受限去中心化执行。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2608.04590 [cs.AI] |
| (或 arXiv:2608.04590v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2608.04590 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Xiao Wang [查看邮箱]
[v1]
2026年8月5日星期三 08:51:41 UTC(642 KB)
[v2]
2026年11月18日星期三 09:05:12 UTC(627 KB)
来源:arXiv cs.AI · arxiv.org