arXiv cs.AI· Wo Wei Lin, Ethan Rathbun, Enrico Marchesini, Xiang Zhi Tan·· 13 小时前AI 评分29
MAVIC：面向指令合规的协作多智能体强化学习宏动作价值修正方法
Robust Instruction Compliance in Cooperative Multi-Agent Reinforcement Learning
AI 导读
针对指令打断宏动作时 Bellman 更新跨指令上下文耦合价值估计、导致估值不一致的问题，作者提出 MAVIC，在指令边界修正 Bellman 备份，校正新指令目标并恢复当前目标下的延续价值。
正文 · AI 翻译
摘要：真实场景中的多智能体强化学习（MARL）可能需要适应外部自然语言指令，这些指令会打断正在进行的行为，并与长时程目标相冲突。然而，以指令为条件来设定奖励会引入一种根本性的失效模式：由于 Bellman 更新会在不同指令上下文之间耦合价值估计，当指令打断宏动作时，就会导致价值估计不一致。我们提出了面向指令遵从的宏动作价值校正方法（MAVIC），它在指令边界处校正 Bellman 备份，具体做法是校正传入的指令目标，并恢复当前目标下的延续价值。与奖励塑形不同，MAVIC 修改的是自举目标本身，从而能够在统一策略下、在随机指令切换的情况下实现一致的价值估计。我们给出了理论分析以及 actor-critic 实现，并表明在日益复杂的协作多智能体环境中，MAVIC 在保持基础任务性能的同时实现了较高的指令遵从度。
| 评论： | NeurIPS 2026 亚特兰大海报展示 |
| 主题： | 人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2605.12655 [cs.AI] |
| （或 arXiv:2605.12655v4 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.12655 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wo Wei Lin [查看邮箱]
[v1]
2026年5月12日星期二 19:01:16 UTC（356 KB）
[v2]
2026年6月5日星期五 16:06:40 UTC（2,744 KB）
[v3]
2026年6月10日星期三 15:03:44 UTC（2,744 KB）
[v4]
2026年10月29日星期四 15:51:53 UTC（911 KB）
来源：arXiv cs.AI · arxiv.org