arXiv cs.MA· Kunal Jha, Gon\c{c}alo Faria, Shuyue Stella Li, Scott Geng, Faeze Brahman, Noah A. Smith, Yulia Tsvetkov, Max Kleiman-Weiner, Natasha Jaques·· 10 小时前AI 评分48
s³：用协作式多智能体强化学习实现群体规模的简单扩展
s$^3$: Simple Scaling of Swarms via Cooperative Multi-agent RL
AI 导读
研究者提出 s³，首个让智能体自行决定独自工作时长、何时共享发现或读取队友消息的多智能体强化学习（MARL）方法，无需预定义组织或角色。在训练与推理预算匹配下，用两倍于训练规模的智能体群体评估时，s³ 解决的协作问题数量超过最强基线 25 倍；在并行探索任务中，通信智能体将重复工作减少近 50%，并比 best-of-N 高出最多 9.4 个百分点。
正文 · AI 翻译
摘要：在相同的时间内，群体可以比个体完成更多工作，但前提是其成员能够协调：他们必须决定谁负责什么以及分享什么。然而，如今多智能体系统中的这种组织方式通常来自任意的、静态的框架，这些框架是先验设计的，无法适应智能体行为或任务规范。我们提出疑问：智能体能否改为学会自我组织？我们提出了 s$^3$，这是首个多智能体强化学习方法，其中智能体自行决定独自工作多长时间，以及何时分享发现或阅读队友的消息，且没有预定义的组织或角色。我们的 s$^3$ 智能体学会采取不同的方法、阅读彼此的工作、展现出在群体中相互补充的涌现角色，并泛化到更大的团队。我们研究了两种情形：协调，即智能体必须整合私有信息；以及并行探索，即分享发现可以使搜索更高效。在训练和推理预算匹配的情况下，s$^3$ 群体在评估时使用的智能体数量是训练时的两倍，其解决的协调问题比最强基线多 25$\times$ 以上；在探索中，通信智能体将重复工作减少近 50%，并比 best-of-N 高出最多 9.4 个百分点。s$^3$ 并非预先设计，而是使组织从共同目标中涌现。这为构建由众多学会协同工作的模型组成的能力系统打开了大门。
| 学科： | 多智能体系统（cs.MA）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.08615 [cs.MA] |
| （或 arXiv:2611.08615v1 [cs.MA] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08615 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kunal Jha [查看电子邮件]
[v1]
2026年11月5日星期四 19:07:15 UTC（11,552 KB）
来源：arXiv cs.MA · arxiv.org