跳到正文
arXiv cs.MA· Seongmin Kim, Woohyeon Byeon, Jiwon Jeon, Seungyul Han, Youngchul Sung·· 9 小时前AI 评分24

LEICA:应对合作多智能体强化学习中的外生变异性

Addressing Exogenous Variability in Cooperative Multi-Agent Reinforcement Learning

AI 导读

针对对手策略或环境机制变化等外生变异性导致合作多智能体强化学习失效的问题,研究者将其形式化为 Exogenous Dec-POMDP(ED-POMDP),并提出 CTDE 兼容算法 LEICA,通过历史条件上下文表示与智能体级影响加权反事实内在奖励来塑造策略更新。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:合作式多智能体强化学习(MARL)在外生变异性下往往失效,例如对手或环境机制发生偏移,这些因素团队无法控制,却会改变转移动态。我们将这一挑战形式化为外生 Dec-POMDP(ED-POMDP):其中,与团队无关地选取的回合级外生机制为动态建立索引,全局状态被划分为直接响应当前团队动作的分量,以及在当前步骤不直接响应动作的分量。这一形式化揭示了中介影响:虽然团队动作在当前步骤不会直接更新后者,但可以通过引起前者的变化来塑造其后续演化。基于此,我们提出 LEICA,一种兼容 CTDE 的算法,它为两个分量学习以历史为条件的上下文表示,并使用按智能体、影响加权的反事实内在奖励来塑造策略更新。在带有对手策略偏移的 SMAX 基准上,LEICA 在训练性能和对未见对手策略的泛化能力上均持续优于现有基线,支持了在外生训练-测试机制偏移下影响加权塑形的有效性。
评论: 28 页。包含补充材料。已被 NeurIPS 2026 接收
主题: 多智能体系统(cs.MA);机器学习(cs.LG)
引用为: arXiv:2611.22067 [cs.MA]
  (或 arXiv:2611.22067v1 [cs.MA] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22067

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Seongmin Kim [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 01:43:42 UTC(659 KB)

来源:arXiv cs.MA · arxiv.org