arXiv cs.AI· Xiaodi Huang, Zilin Wang, Jinpeng Liu, Pengchuan Xiao, Zhenlei Shao, Zhang Zhang, Shuxiang Lu·· 14 小时前AI 评分31
POD-RoPE:面向具身 AI 的物理观测分布旋转位置编码
POD-RoPE: Rotary Position Encoding over Physical Observation Distributions for Embodied AI
AI 导读
研究者提出 POD-RoPE,将 token 的观测足迹表示为相机中心、视线方向与采样时间上的分布,在独立采样下用期望旋转编码分布间相对关系,分布坍缩为单点时即退化为逐点 RoPE。
正文 · AI 翻译
摘要:具身感知需要能够同时捕捉物理几何以及观测的空间与时间范围的位置表示。我们提出 POD-RoPE(Physical Observation Distribution RoPE),它将 token 的观测足迹表示为相机中心、观察方向和采样时间上的分布。在独立采样下,期望旋转编码分布之间的相对关系;当每个分布坍缩为单一地址时,该构造退化为逐点 RoPE。相同的旋转统计量支持 Q/K 匹配以及依赖相干性的 V/O 变换,使观测几何能够同时引导信息选择与内容聚合。逐 token 预聚合避免了增加序列长度或处理观测节点对。我们在四种机器人策略架构、仿真与真实世界操作,以及互补的重建、深度估计和新视角合成任务上评估了 POD-RoPE。将 POD-RoPE 集成到 Fast-WAM 后,在全部 50 个 RoboTwin 2.0 任务上平均成功率从 91.83% 提升至 92.88%,在 Sharpa North 上的两个真实机器人任务上从 32.5% 提升至 52.5%。受控重建消融实验支持了分布编码和 V/O 变换的贡献。在 H20 模型块基准测试中,POD-RoPE 的前向加反向速度中位数相对 P-RoPE 提升 $1.91\times$,相对 RayRoPE 提升 $5.34\times$,而相对 Standard RoPE 的延迟开销中位数为 17.4%。这些结果支持将物理观测分布作为几何感知注意力的一种有效且计算高效的基础。
| 评论: | 21 页,5 张图 |
| 主题: | 机器人学(cs.RO);人工智能(cs.AI) |
| 引用为: | arXiv:2610.33745 [cs.RO] |
| (或本版本的 arXiv:2610.33745v1 [cs.RO]) | |
| https://doi.org/10.48550/arXiv.2610.33745 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xiaodi Huang [查看邮箱]
[v1]
2026 年 10 月 24 日星期六 15:39:30 UTC(4,330 KB)
来源:arXiv cs.AI · arxiv.org