arXiv cs.AI· Hari Prasad·· 1 天前AI 评分44
学习到的不确定性何时可信？一项对分布式强化学习的审计
When Can Learned Uncertainty Be Trusted? An Audit of Distributional Reinforcement Learning
AI 导读
研究对分布式强化学习中的回报分布做审计，在 MinAtar 上测试 QR-DQN、C51 和 IQN 共 33 次运行，40-95% 最强的风险权衡主张在 95% 置信度下被推翻，且几乎无法被证实。
正文 · AI 翻译
摘要：许多学习型预测模型将其不确定性表示为概率分布，规划器和策略利用该分布来判断风险。然而，模型输出分布这一事实并不能告诉我们该分布是否捕捉到了与决策相关的环境不确定性。在本工作中，我们在分布式强化学习中研究这一问题，其中学习到的回报分布 P_{\theta}(Z | s,a) 可以直接与由快照重启蒙特卡洛估计的、基于环境的分布 P_env(Z | s,a) 进行比较。我们的审计首先筛选出风险敏感用户会据以采取行动的断言，使用前两个动作之间的超额 Wasserstein 差距（该差距等于一阶随机占优被违反的程度）。然后，每个断言都通过置换零假设、自助反驳和 FDR 控制来对照真实值进行检验。在 MinAtar 上的 QR-DQN、C51 和 IQN（33 次运行）中，40-95% 的最强风险权衡断言在 95% 置信度下被反驳，其位置在统计上与无视真实值的位置无法区分，且几乎没有一个能被证实。在预训练的全 Atari QR-DQN 上也观察到类似的模式。在已知幅度的阳性对照上，同一审计确认了 96-100% 的真实断言（相关性 0.89-0.92），因此当真实风险存在时它能够检测到。在被标记最多的状态下依据学习到的 CVaR 建议采取行动，结果从有益到显著差于随机不等。集成、风险敏感训练和重新校准都不能解决该问题，且重新校准实验表明学习到的离散度对真实风险没有可用信息。基于这些结果，我们建议不确定性估计（包括学习到的世界模型的不确定性估计）应在其被使用的决策处对照实际结果进行检查。
| 评论： | 25 页，8 幅图，3 张表（正文）；包含补充材料 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；机器学习（stat.ML） |
| ACM 分类： | I.2.6；G.3 |
| 引用为： | arXiv:2607.11607 [cs.AI] |
| （或此版本的 arXiv:2607.11607v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2607.11607 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hari Prasad [查看电子邮件]
[v1]
2026 年 7 月 13 日星期一 14:30:01 UTC（1,894 KB）
[v2]
2026 年 11 月 12 日星期四 08:34:24 UTC（1,892 KB）
来源：arXiv cs.AI · arxiv.org