arXiv cs.MA· Pengcheng Dai, Dongming Wang, Wenwu Yu, Wei Ren·· 2 天前AI 评分18
面向网络化多智能体强化学习的分布式可扩展耦合策略算法 DSCP
Distributed scalable coupled policy algorithm for networked multi-agent reinforcement learning
AI 导读
针对奖励相互依赖、策略相互耦合的网络化多智能体强化学习（NMARL），研究者提出分布式可扩展耦合策略（DSCP）算法，引入"邻居平均 Q 函数"并推导出耦合策略梯度的新表达式。
正文 · AI 翻译
摘要：本文研究具有相互依赖奖励和耦合策略的网络化多智能体强化学习（NMARL）。在此设定下，每个智能体的奖励取决于其自身的状态-动作对以及其直接邻居的状态-动作对，而每个智能体的策略由其局部参数以及其 $\kappa_{p}$ 跳邻居的参数共同参数化，其中 $\kappa_{p}\geq 1$ 表示耦合半径。智能体的目标是协同优化其策略，以最大化折扣平均累积奖励。为解决协同优化中策略相互依赖的挑战，我们引入了一个新概念，称为“邻居平均 $Q$ 函数”，并推导出耦合策略梯度的新表达式。基于这些理论基础，我们提出了一种分布式可扩展耦合策略（DSCP）算法，其中每个智能体仅依赖其 $\kappa_{p}$ 跳邻居的状态-动作对以及其 $(\kappa_{p}+1)$ 跳邻居的奖励。具体而言，在 DSCP 算法中，我们采用一种几何 2-视野采样方法，该方法无需存储完整的 $Q$ 表即可获得耦合策略梯度的无偏估计。此外，每个智能体仅与其直接邻居交互以获得准确的策略参数，同时维护对其他智能体参数的局部估计，以执行其局部策略并收集用于优化的样本。这些估计和策略参数通过 push-sum 协议进行更新，从而实现网络范围内策略更新的分布式协调。我们证明了所提算法产生的联合策略收敛到目标函数的一阶驻点。最后，通过在机器人路径规划环境中的仿真验证了 DSCP 算法的有效性，显示出相较于最先进方法的明显改进。
| 学科： | 多智能体系统（cs.MA） |
| 引用为： | arXiv:2512.05447 [cs.MA] |
| （或 arXiv:2512.05447v3 [cs.MA] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.05447 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pengcheng Dai [查看电子邮件]
[v1]
2025年12月5日星期五 05:51:14 UTC（1,070 KB）
[v2]
2025年12月10日星期三 06:51:16 UTC（1,071 KB）
[v3]
2026年10月15日星期四 09:12:24 UTC（1,075 KB）
来源：arXiv cs.MA · arxiv.org