arXiv cs.AI· Ilgin Dogan, Zuo-Jun Max Shen, Anil Aswani·· 10 小时前AI 评分18
当智能体也在学习：在奖励不可观测时学习激励
When the Agent Learns Too: Learning to Incentivize with Unobserved Rewards
AI 导读
研究提出一种在奖励不可观测场景下的重复逆向选择博弈框架：自利的学习型智能体用多臂老虎机（MAB）问题最大化期望奖励加激励，学习型委托方则并行训练算法，在估计智能体未知奖励与通过自适应激励最大化自身效用之间权衡。
正文 · AI 翻译
摘要：在实践中，激励提供方（即委托人）往往无法观察到被激励代理的奖励实现情况，这与以往研究的许多委托-代理模型形成对比。这种信息不对称给委托人带来了挑战：仅通过观察代理的决策来一致地估计代理未知的奖励，而当代理必须学习自身的奖励时，这一挑战更加严峻。这种复杂的设定在从可再生能源存储合同到个性化医疗激励等各种现实场景中都能观察到。因此，它不仅提出了有趣的理论问题，也具有广泛的现实相关性。本文探讨了一个自利的学习型代理与一个学习型委托人之间的重复逆向选择博弈。代理解决一个多臂老虎机（MAB）问题，以最大化其期望奖励加上激励。在代理学习的基础上，委托人训练一个并行算法，并在一致估计代理未知奖励与通过提供自适应激励来引导代理以最大化自身效用之间面临权衡。对于非参数模型，我们引入了一个估计器，其唯一输入是委托人激励和代理选择的历史。我们在 MAB 框架内将该估计器与提出的数据驱动激励策略相结合。在不限制代理算法类型的情况下，我们通过考虑代理施加的序列外部性，证明了该估计器的有限样本一致性以及委托人的严格遗憾界。最后，我们的理论结果得到了模拟的进一步支持，这些模拟证明了我们的框架对绿色能源聚合商合同的适用性。
| 评论： | 72 页，6 幅图。是 arXiv:2304.07407 的配套论文；重叠文本涵盖共享的模型设定 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机科学与博弈论（cs.GT）；机器学习（stat.ML） |
| 引用为： | arXiv:2308.06717 [cs.LG] |
| （或 arXiv:2308.06717v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2308.06717 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ilgin Dogan [查看电子邮件]
[v1]
2023 年 8 月 13 日周日 08:12:01 UTC（251 KB）
[v2]
2026 年 11 月 4 日周三 08:41:35 UTC（226 KB）
来源：arXiv cs.AI · arxiv.org