arXiv cs.AI· Ilgin Dogan, Zuo-Jun Max Shen, Anil Aswani·· 10 小时前AI 评分18
面向完美知识智能体的无观测奖励激励策略学习
Learning to Incentivize Perfect-Knowledge Agents with Unobserved Rewards
AI 导读
研究多臂老虎机框架下的重复委托-代理博弈：委托方为每个臂设置不同激励，智能体选择使自身期望奖励加激励最大化的臂，而委托方无法直接观测智能体获得的奖励。作者先构造智能体各臂期望奖励的估计器（可视为 MAB 中的在线逆优化），再据此设计策略，并证明在智能体完全知晓自身期望奖励时达到低遗憾（至多对数因子的平方根遗憾）。数值模拟展示了该框架在长期他汀类药物治疗的个性化依从性激励设计中的应用。
正文 · AI 翻译
摘要：受医疗保健和可持续交通等领域中若干实际应用的启发，本文在多臂老虎机（MAB）框架下研究一种重复委托-代理博弈场景，其中：委托人为每个老虎机臂给出不同的激励，代理人选择一个老虎机臂以最大化自身期望收益加激励，委托人观察到所选臂并获得该臂的收益（与代理人的收益不同）。为委托人设计策略颇具挑战，因为委托人无法直接观察到代理人因其所选动作而获得的收益，因此委托人无法使用现有估计技术直接学习期望收益。因此，针对该场景及类似场景设计策略的问题在很大程度上仍未被探索。本文针对代理人完全了解自身对每个老虎机臂的期望收益的情形，构造了一种在该场景下实现低遗憾（即至多对数因子的平方根遗憾）的策略。我们设计策略时，首先为代理人对每个老虎机臂的期望收益构造估计器。由于我们的估计器以所提供激励及随后所选臂的序列为数据，委托人的估计可视为 MAB 中在线逆优化的一种类比。接下来，我们通过为估计器推导有限样本集中不等式，构造并证明了一种实现低遗憾的策略。最后，我们通过数值模拟展示了该框架在长期他汀类治疗中个性化提高依从性的激励设计上的适用性。
| 评论： | 61 页，3 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机科学与博弈论（cs.GT）；机器学习（stat.ML） |
| 引用为： | arXiv:2304.07407 [cs.LG] |
| （或本版本的 arXiv:2304.07407v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2304.07407 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ilgin Dogan [查看邮箱]
[v1]
2023 年 4 月 14 日星期五 21:57:16 UTC（299 KB）
[v2]
2023 年 5 月 7 日星期日 19:30:01 UTC（300 KB）
[v3]
2026 年 11 月 4 日星期三 08:24:56 UTC（263 KB）
来源：arXiv cs.AI · arxiv.org