arXiv cs.AI· Hanzhen Wang, Boxiang Lyu, Zhongxiang Dai, Siyang Gao, Dake Zhang, Shuang Qiu·· 2 天前AI 评分18
基于优化确定性等价的风险敏感离线强化学习：可证明高效的算法与上下界
Provably Efficient Risk-Sensitive Offline Reinforcement Learning via Optimized Certainty Equivalents
AI 导读
研究用优化确定性等价（OCE）统一刻画风险敏感离线强化学习，提出动态-OCE 与静态-OCE 两种形式。在表格设定下给出悲观值迭代算法及紧的次线性次优上界，并建立 minimax 下界；针对大状态空间进一步提出悲观最小二乘值迭代算法，将 OCE 风险准则融入线性函数逼近，给出依赖效用函数与特征维度 d 的次线性保证。作者称这是动态与静态 OCE RL 的首个离线算法及首个上下界。
正文 · AI 翻译
摘要：风险敏感强化学习（RL）研究不确定性和不利结果下的决策问题。当与环境进行额外交互代价高昂时，从固定数据集中学习风险敏感策略非常重要。现有的风险敏感 RL 工作主要关注在线设置或特定风险度量，对其离线设置的一般理论理解尚不完善。在本工作中，我们使用优化确定性等价（OCE）——一类通用的风险度量——来研究高效的离线风险敏感 RL。我们考虑两种形式：动态 OCE RL，即在每一步递归地应用 OCE；以及静态 OCE RL，即对累积奖励应用单个 OCE。在表格设置下，我们为这两种形式开发了悲观值迭代算法，并建立了紧致的次线性次优性界，明确刻画了由效用函数编码的风险敏感性如何影响学习难度。此外，我们建立了极小极大次优性下界，以刻画问题的根本极限。为了处理大状态空间，我们进一步开发了悲观最小二乘值迭代算法，将通用 OCE 风险准则纳入线性函数逼近。我们建立了依赖于效用的次线性保证，并显式依赖于特征维度 $d$。据我们所知，我们为动态和静态 OCE RL 提供了首个离线算法以及首个上界和下界次优性界。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.21870 [cs.LG] |
| （或 arXiv:2610.21870v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21870 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hanzhen Wang [查看电子邮件]
[v1]
2026年10月15日星期四 13:41:18 UTC（138 KB）
来源：arXiv cs.AI · arxiv.org