arXiv cs.AI· Svar Rajankumar Patel, Kshitij Jerath·· 3 天前AI 评分22
多智能体强化学习中的极值搜索控制：ADiCo 如何在线自适应调节行为多样性
Optimizing Team Behavior via Extremum-seeking Control in Multi-agent Reinforcement Learning
AI 导读
研究者提出 Adaptive Diversity Control（ADiCo），一个双时间尺度框架，可在训练中在线调节多智能体强化学习的行为多样性。快速尺度上，Diversity Control（DiCo）将系统多样性调控至目标值；慢速尺度上，极值搜索控制器（ESC）仅凭平均回合回报调整该目标，无需显式模型或多样性-性能梯度的解析式。
正文 · AI 翻译
摘要：在协作式多智能体强化学习（MARL）中，智能体必须学会协调其行动以实现共同目标。有效协调的一个关键指标是行为多样性，即在给定相同观测集的情况下，智能体制定出不同但互补的控制策略的潜力。尽管行为多样性能够促成角色专门化和更丰富的联合行为，但其合适的水平高度依赖于上下文和任务，且通常难以调优。我们提出自适应多样性控制（ADiCo），一个在训练过程中在线自适应调整行为多样性的双时间尺度框架。在快时间尺度上，多样性控制（DiCo）将系统多样性调节至目标值。在较慢的时间尺度上，极值搜索控制器（ESC）仅使用平均回合回报来调整该目标，无需多样性-性能景观的显式模型或解析梯度。我们在两个协作式 MARL 任务的六种配置上评估 ADiCo，它能够维持适合任务的多样性水平：当同质策略有利时保持低多样性，当需要异质策略时保持较高多样性。通过这种自适应，ADiCo 的平均性能达到或超过了 DiCo（经网格搜索得到的最佳多样性目标）和无约束 DiCo（允许多样性在无目标调节下自然涌现）。这些结果表明，将经典反馈控制融入 MARL 训练能够通过提供一种系统性替代方案来取代针对特定任务手动选择多样性目标，从而实现有效协调。
| 评论： | 已被第 65 届 IEEE 决策与控制会议（CDC 2026）接收发表，美国夏威夷 |
| 主题： | 多智能体系统（cs.MA）；人工智能（cs.AI）；机器人学（cs.RO）；系统与控制（eess.SY） |
| 引用为： | arXiv:2610.18808 [cs.MA] |
| （或 arXiv:2610.18808v1 [cs.MA] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18808 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Kshitij Jerath [查看电子邮件]
[v1]
2026年10月13日星期二 17:46:27 UTC（981 KB）
来源：arXiv cs.AI · arxiv.org