arXiv cs.MA· Matthias Gerstgrasser, Gianluca Brero, Alon Eden, Darshan Chakrabarti, Nicolas Lepore, Vincent Li, Eric Mibuari, Amy Greenwald, David C. Parkes·· 9 天前AI 评分22
Stackelberg POMDP：通过强化学习学会领导
Stackelberg POMDP: Learning to Lead via Reinforcement Learning
AI 导读
研究者提出 Stackelberg POMDP 框架，将跟随者的策略适应嵌入领导者环境，把部分可观测的多跟随者领导-跟随问题转化为单智能体 POMDP，并证明仅基于领导者博弈历史的最优策略可实现最优承诺。在平台设计中，学到的展示规则使平均消费者剩余比优化的固定价格上限提高 8.4%；在间接机制设计中，使用买方消息的机制在所有测试类型数下社会福祉均高于最优标准序贯价格机制。
正文 · AI 翻译
摘要：许多现实世界领域——包括电子商务平台设计、安全规划和多智能体协调——都存在领导者-追随者问题，其中一个决策者承诺一种策略，其他人则策略性地做出反应。我们为这种在具有部分观测和多个追随者的序贯环境中的交互开发了一个强化学习框架。追随者可能通过无遗憾学习或强化学习进行适应，可能偏离均衡行为。该框架将追随者适应嵌入领导者的环境中，以构建单智能体部分可观测马尔可夫决策过程——Stackelberg POMDP。对于通过查询访问领导者策略的策略交互式响应算法，我们证明，仅基于领导者博弈历史的最优策略在指定的响应过程下产生最优承诺。我们使用带有集中式评论家的近端策略优化，并训练上下文元追随者以跨领导者策略进行响应。在间接机制设计中，使用买方消息的机制在所有测试的类型数量上均比最优标准序贯价格机制实现更高的社会福利，其响应被证明为近似贝叶斯粗相关均衡。在平台设计中，学习到的展示规则在适应隐藏卖家成本的同时，将平均消费者剩余比优化的固定价格上限提高 8.4%。在 Atari 双边贸易中，元学习到的追随者响应支持视觉游戏玩法和经济决策的联合学习；将领导权分配给卖家或买家会使交易价格和收益向该智能体有利的方向偏移。受控消融实验考察了响应信用、策略一致性和奖励时机如何影响学习。
| 主题： | 计算机科学与博弈论 (cs.GT)；多智能体系统 (cs.MA) |
| 引用为： | arXiv:2210.03852 [cs.GT] |
| （或 arXiv:2210.03852v5 [cs.GT] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2210.03852 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gianluca Brero [查看电子邮件]
[v1]
2022年10月7日星期五 23:55:51 UTC (2,857 KB)
[v2]
2023年2月15日星期三 17:18:32 UTC (3,326 KB)
[v3]
2023年11月10日星期五 00:36:59 UTC (4,073 KB)
[v4]
2024年7月19日星期五 11:35:43 UTC (375 KB)
[v5]
2026年10月8日星期四 00:10:11 UTC (293 KB)
来源：arXiv cs.MA · arxiv.org