arXiv cs.AI· Cedric Derstroff, Jannis Bl\"uml, Janosch Moos, Michael Girstl, Zihan Ye, Debora Clever, Kristian Kersting·· 11 小时前AI 评分31
从绝对到相对表示：ORCA 与 ORBiT 重构以对象为中心的强化学习
Reframing Object-Centric Reinforcement Learning: From Absolute to Relative Representations
AI 导读
研究提出以锚点固定的对象相对坐标 ORCA，并构建基于 Transformer 的 ORBiT 架构处理锚点相对输入。相对表示同时提升了 MLP 与 Transformer 智能体的表现，ORBiT 在 13 款 Atari 游戏上聚合 HNS IQM 超过 1.0，优于基于像素的 PPO 基线，并从零学会 Foosball 游戏、全面压制所有基线。
正文 · AI 翻译
摘要：以对象为中心的强化学习智能体通常接收每个对象在固定全局坐标系中的位置，尽管它们的决策往往取决于对象之间的相对位置。这些绝对视角通常无法捕捉与智能体行为最相关的局部上下文。因此，智能体必须在配置可能出现的每个位置重新学习相同的响应，而仅仅平移场景就会导致其性能崩溃。在这项工作中，我们提出转向固定于锚点的对象相对坐标（ORCA），其中实体在相对参考系中描述。为了将这一想法付诸实践，我们引入了对象相对归纳偏置 Transformer（ORBiT），这是一种基于 Transformer 的架构，用于在强化学习中处理锚点相对输入。我们的结果表明，这些相对表示提升了 MLP 和 Transformer 智能体的性能。此外，我们证明 ORBiT 优于基于像素的 PPO 基线，在 13 款 Atari 游戏中取得了大于 1.0 的聚合 HNS IQM。ORBiT 从零开始学习 Foosball 游戏，并全面超越所有基线。在我们受控的 Tag 环境中，我们进一步表明 ORCA 可扩展到旋转，ORBiT 可泛化到未见过的干扰物数量，并且这些收益需要与决策相关的锚点。
| 评论： | 13 页，7 幅图，10 页附录，前两位作者贡献相同 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28197 [cs.LG] |
| （或 arXiv:2610.28197v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28197 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Cedric Derstroff [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 13:38:23 UTC（990 KB）
来源：arXiv cs.AI · arxiv.org