arXiv cs.AI· Amir Esterhuysen, Anders Jonsson·· 10 天前AI 评分18
强化学习中的终端表示（Terminal Representation）
The Terminal Representation in Reinforcement Learning
AI 导读
研究者提出终端表示（TR），一种结构上区别于后继表示（SR）和默认表示（DR）的强化学习表示方法。TR 同样编码奖励加权轨迹，但可作为更低维对象学习，无需特征向量计算即可直接用于选项发现、奖励塑形、迁移学习和探索，并能绕过特征分解所要求的对称转移动态假设。理论分析给出了 TR 的推导、两种学习算法的收敛性及零样本组合能力，实证显示其学习、存储和使用开销更低。
正文 · AI 翻译
摘要：表示学习是强化学习（RL）中时空抽象的强大工具。两种成熟的方法是通过后继表示（SR）和默认表示（DR）。SR 通过状态所诱导的未来轨迹来编码状态，捕捉与奖励解耦的信息流。DR 在此基础上用奖励对轨迹加权，将信用分配结构整合到表示中。这两种表示的特征向量已被用于支持一系列下游任务——包括选项发现、奖励塑形、迁移学习和探索。我们引入一种结构上不同的公式：终端表示（TR）。TR 与 DR 类似地编码奖励加权轨迹，但可以学习为更低维的对象，并且无需特征向量计算即可直接用于上述应用。特征分解还强加了对称转移动力学的假设，而 TR 可以绕过这一点。在这项工作中，我们发展了 TR 的理论基础：其推导、两种学习算法的收敛性、其在零样本组合性中的用途，以及不同奖励公式之间的等价性。我们进一步表明 TR 嵌入在最高阶 DR 特征向量中，使其无需特征分解即可捕捉相同的底层知识。此外，我们提供了经验证据，表明 TR 在辅助应用中可作为现有表示的可行替代方案，同时在学习、存储和使用上需要更少的计算开销。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.31289 [cs.LG] |
| （或 arXiv:2605.31289v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.31289 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Amir Esterhuysen [查看电子邮件]
[v1]
2026年5月29日星期五 13:24:28 UTC（1,068 KB）
[v2]
2026年7月17日星期五 15:05:43 UTC（1,060 KB）
[v3]
2026年10月6日星期二 14:15:29 UTC（1,090 KB）
来源：arXiv cs.AI · arxiv.org