arXiv cs.AI· Yiyu Qian, Pengfei Guo, Liyuan Zhao·· 1 天前AI 评分22
ReShap：面向高维多动作场景的可解释强化学习框架
ReShap: Interpretable Reinforcement Learning for High-Dimensional Multi-Action Settings
AI 导读
ReShap 是一个策略蒸馏框架，将基于 Shapley 的可解释性从低维、二动作场景扩展到高维多动作环境。它从原始图像观测中提取紧凑特征表示，用 SHAP 做特征归因，并把深度 RL 策略蒸馏为在策略访问分布上训练的可解释替代模型，实例化为决策树、线性回归和逻辑回归三类。
正文 · AI 翻译
摘要：深度强化学习（RL）在解决复杂任务中起着关键作用，但其对深度神经网络的依赖使得学到的策略不透明。为提升 RL 策略的可信度，现有工作（如 SILVER 框架 [Li et al., 2025]）聚焦于基于 Shapley 的可解释性，但通常局限于低维状态空间、二值动作设置和单一类别的线性代理模型。我们提出 ReShap，一个策略蒸馏框架，将基于 Shapley 的可解释性扩展到高维、多动作环境。ReShap 从原始图像观测中提取紧凑的特征表示，执行基于 SHAP 的特征归因以刻画每个特征如何影响策略的决策，并将深度 RL 策略蒸馏为一个可解释的代理模型，该模型在沿策略访问分布的全部（状态，策略动作）对上训练。我们用三种可解释模型族（决策树、线性回归和逻辑回归）实例化该代理模型，并比较它们的保真度和任务回报。我们在 Atari 和 Box2D 环境中使用三种深度 RL 算法评估 ReShap，并开展了一项人类受试者研究以评估所得策略的清晰度和可信度。结果表明，ReShap 保持了有竞争力的任务性能，决策树通常优于线性回归和逻辑回归，而线性回归在大多数设置中表现最弱。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.15507 [cs.LG] |
| （或 arXiv:2611.15507v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.15507 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yiyu Qian [查看邮箱]
[v1]
2026年11月11日 星期三 14:02:55 UTC（1,491 KB）
来源：arXiv cs.AI · arxiv.org