arXiv cs.AI· Madelon Bernardy, Mohammad Mahdi Derakhshani, David M Knigge, Riccardo Valperga, Artem Moskalev·· 11 小时前AI 评分31
让策略编码器对齐形状教师：纯图像策略如何习得 3D 形状信息
Aligning Policy Encoders with a Shape Teacher
AI 导读
研究提出 shape-teacher alignment，在训练阶段用预训练 3D 形状表示 Point-MAE 的物体特征作为图像 patch 的对齐目标，把几何结构迁移给图像策略编码器，部署时无需形状教师或深度输入。在 LIBERO 上，该方法使图像表示更围绕物体形状与部件结构化，预训练策略在 Object 和 Spatial 套件上的收敛速度分别提升 4.7x 和 5.6x，成功率同步提高。
正文 · AI 翻译
摘要：3D 感知表征能够提供对视角、物体位置和遮挡变化具有鲁棒性的几何信息，从而改进机器人操作。然而，在部署时使用 3D 输入需要额外的传感和处理，使得基于图像的策略更为实用。我们探究基于图像的策略能否在训练期间获取 3D 形状信息，同时在部署时保持纯图像接口。我们提出形状教师对齐（shape-teacher alignment），这是一种训练时机制，使用预训练的 3D 形状表征作为基于图像策略编码器的对齐目标。具体而言，我们使用单个物体的 Point-MAE 特征作为对应图像块的目标，将几何结构迁移到策略中，而不改变其部署输入或架构。在 LIBERO 上，形状教师对齐产生的图像表征在物体形状及对应部件周围更具结构性，同时大幅加速策略收敛并提高成功率。对于预训练策略，在 Object 和 Spatial 套件上收敛速度分别提升 4.7 倍和 5.6 倍，且部署时无需形状教师或深度输入。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.08275 [cs.RO] |
| （或 arXiv:2611.08275v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08275 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Angela Bernardy [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 16:44:24 UTC（2,329 KB）
来源：arXiv cs.AI · arxiv.org