arXiv cs.MA· Zeyuan Zhang, Yiyun Yang, Yuan Cheng, Herbert Zheng Wu, Yusi Chen·· 12 小时前AI 评分24
MA-UITD：从联合演示中离线推断多智能体奖励，刻画连续社会行为
MA-UITD: Offline Multi-Agent Reward Inference for Characterizing Continuous Social Behavior
AI 导读
研究者提出离线多智能体逆强化学习方法 MA-UITD，可从联合演示中推断各智能体的显式奖励，无需已知环境动力学或内层策略优化循环。该方法用信念条件后继特征表示单边长期价值，在离散动作的协作、竞争与一般和任务中优于基线，并在连续动作设置下推断出行为兼容的奖励。应用于社会觅食轨迹数据时，MA-UITD 为领导者与跟随者推断出不同的空间与交互相关奖励结构。
正文 · AI 翻译
摘要：多智能体逆向强化学习提供了一个强大的框架，不仅可用于模仿学习，还可用于理解支撑社会互动与决策的神经计算。从相互作用的智能体中推断奖励具有挑战性，因为观察到的选择既反映了个人偏好，也反映了对他人的预期。现有方法通常需要额外的环境交互、作为内循环的重复策略优化，或对环境动力学和动作空间的限制性假设，从而限制了它们对固定行为数据集的适用性。我们提出了多智能体单边逆向时序差分学习（MA-UITD），这是一种离线方法，用于在具有离散或有限连续动作的连续状态环境中，从联合演示中推断显式的智能体特定奖励。其核心思想是通过对其他智能体行为取平均的、以信念为条件的后继特征，来表示每个智能体自身行为的长期后果。共享奖励特征和智能体特定偏好向量将这些单边价值与目标奖励函数联系起来，而逆向时序差分一致性和噪声对比行为学习使得无需已知动力学或内层策略优化循环即可进行推断。在模拟的合作、竞争和一般和任务中，MA-UITD 在离散动作设置下优于基线，并在连续动作设置下推断出行为兼容的奖励剖面。当应用于实验收集的社会觅食轨迹时，MA-UITD 为领导者和跟随者推断出不同的空间和交互依赖的奖励结构，提供了对潜在行为目标的定量刻画，这可能有助于理解社会行为背后的神经计算。
| 主题： | 机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.29237 [cs.LG] |
| （或 arXiv:2610.29237v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29237 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zeyuan Zhang [查看电子邮件]
[v1]
2026年10月21日星期三 05:46:27 UTC（359 KB）
来源：arXiv cs.MA · arxiv.org