arXiv cs.MA· Lucia Pezzetti, Nicolas Lanzetti, Antonio Terpin, Florian D\"orfler, Giorgia Ramponi·· 10 小时前AI 评分38
合作多智能体强化学习的分离原理：SALT 算法
A Separation Principle for Cooperative Multi-Agent Reinforcement Learning
AI 导读
研究者提出合作多智能体强化学习（MARL）的分离原理：群体 cost-to-go 函数可由最优传输问题给出上界，其传输代价为目标条件化的单智能体 cost-to-go 函数，从而把多智能体问题简化为学习单智能体策略并用最优传输协调智能体。
正文 · AI 翻译
摘要：我们研究合作式多智能体强化学习（MARL）问题，其中智能体在解耦的噪声动力学下演化，但共享一个群体目标。一个典型例子是调度车队以满足客户需求的出行运营商。这些问题的随机性和时变特性需要学习方法，然而现有的 MARL 算法无法扩展：随着智能体数量增长，在全状态-动作空间上联合学习分配与路径规划变得不可行。我们将问题表述在概率测度空间上，并证明了一个分离原理：群体代价函数（cost-to-go）被一个最优传输问题所上界，其传输代价是目标条件化的单智能体代价函数。这将多智能体问题简化为学习单智能体策略并通过最优传输协调智能体。基于这一原理，我们提出了 SALT（基于最优传输的分离式分配与学习），这是一族算法，使用任何标准强化学习算法学习目标条件化的单智能体策略，然后通过最优传输协调智能体。由于学习发生在单智能体层面，SALT 可扩展到 MARL 基线变得难以处理的规模，并且无需重新训练即可迁移到训练中未见过的规模。在曼哈顿南部路网上的车辆配送实验中，MARL 基线在计算上不可行，而 SALT 相比最短路径路由启发式将出行时间改善了 15-21%。在随机网格世界中，SALT 相比 MARL 基线将平均出行时间减少了 23-61%，并可扩展到这些方法失效的群体规模。
| 主题： | 多智能体系统（cs.MA） |
| 引用为： | arXiv:2611.09644 [cs.MA] |
| （或 arXiv:2611.09644v1 [cs.MA] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09644 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lucia Pezzetti [查看邮箱]
[v1]
2026年11月6日星期五 15:57:18 UTC（221 KB）
来源：arXiv cs.MA · arxiv.org