arXiv cs.MA· Bhavini Jeloka, Yue Guan, Panagiotis Tsiotras·· 12 小时前AI 评分29
MF-MAPPO：用平均场交互学习大规模竞争团队行为
Learning Large-Scale Competitive Team Behaviors with Mean-Field Interactions
AI 导读
研究者提出 MF-MAPPO，将 PPO 扩展到零和团队博弈的平均场框架，兼顾队内合作与队间竞争，每队仅用共享 actor 和极简信息 critic，可直接在有限种群模拟器上训练并部署到数千智能体的场景。
正文 · AI 翻译
摘要：尽管多智能体强化学习（MARL）已被证明在协作和竞争任务中均有效，但现有算法往往难以扩展到大规模智能体群体。均值场（MF）理论的最新进展通过将群体交互近似为连续体，提供了可扩展的解决方案，然而大多数现有框架仅专注于完全合作或纯竞争环境。为弥合这一差距，我们提出 MF-MAPPO，这是 PPO 的均值场扩展，专为零和团队博弈设计，融合了队内合作与队间竞争。MF-MAPPO 为每支队伍采用一个共享的 actor 和一个信息极少的 critic，并直接在有限种群模拟器上训练，从而能够部署到拥有数千个智能体的现实场景中。我们进一步表明，MF-MAPPO 通过一种简单的梯度正则化训练方案，可自然扩展到部分可观测环境。我们的评估利用了我们自有的 MF 团队博弈测试仿真平台（MFEnv）中的大规模基准场景，包括攻防战场任务以及具有解析解的人口基数石头剪刀布博弈变体，用于基准测试。在这些基准上，MF-MAPPO 优于现有方法，并展现出复杂的异质行为，证明了在大规模下结合均值场理论与 MARL 技术的有效性。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 多智能体系统（cs.MA） |
| 引用为： | arXiv:2504.21164 [cs.MA] |
| （或 arXiv:2504.21164v4 [cs.MA] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2504.21164 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bhavini Jeloka [查看邮箱]
[v1]
2025年4月29日星期二 20:31:59 UTC（13,456 KB）
[v2]
2025年9月28日星期日 15:55:43 UTC（6,703 KB）
[v3]
2026年2月13日星期五 11:51:28 UTC（27,181 KB）
[v4]
2026年10月21日星期三 17:35:53 UTC（15,025 KB）
来源：arXiv cs.MA · arxiv.org