arXiv cs.MA· Antoine Bergerault, Cyrille Kone, Giorgia Ramponi·· 2 天前AI 评分22
策略博弈中的奖励学习：主动逆强化学习实现 Stackelberg 博弈奖励识别
Learning Rewards in Strategic Games
AI 导读
研究提出"策略可识别性"概念，证明仅从固定策略对学习无法在策略层面识别奖励，与专家样本数 K 无关。
正文 · AI 翻译
摘要：理解驱动智能体行为的目标在策略环境中至关重要，因为在这种环境中多个智能体相互交互并彼此适应。这一挑战出现在网络安全、自动驾驶和在线市场等领域，其中智能体的潜在动机通常是未知的，必须根据其观察到的行为来推断。逆向强化学习（IRL）为这一问题提供了自然的框架，但将 IRL 扩展到策略性多智能体场景会引入一个根本性挑战：能够解释观察到的行为的奖励，在用于决策时未必能诱导出最优策略。在这项工作中，我们通过\emph{策略可识别性}的视角研究这一问题，并表明仅从固定的策略对中学习可能不足以在策略上识别奖励，这与专家样本数量 $K$ 无关。受此启发，我们为双人重复 Stackelberg 博弈引入了一种主动 IRL 算法，其中领导者自适应地选择策略，以引出关于跟随者奖励的信息性响应。将最大似然估计与实验设计相结合，我们推导出由所学奖励导致的 Stackelberg 次优性的有限样本保证，其与新的 $K^{-1/2}$ 极小极大学习率在多重对数因子范围内相匹配。最后，我们在一个现实的反偷猎场景中评估了我们的方法，展示了主动探索对奖励恢复和下游策略性能的益处。
| 主题： | 计算机科学与博弈论（cs.GT）；人工智能（cs.AI）；机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.21912 [cs.GT] |
| （或 arXiv:2610.21912v1 [cs.GT] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21912 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Antoine Bergerault [查看电子邮件]
[v1]
2026年10月15日星期四 13:59:45 UTC（118 KB）
来源：arXiv cs.MA · arxiv.org