arXiv cs.AI· Amil Khan, Anantajit Subrahmanya, B. S. Manjunath·· 13 小时前AI 评分31
PACK3D：让几何而非内存布局决定 3D 注意力
Geometry Matters in Packed 3D Attention
AI 导读
研究者提出 PACK3D，一种局部-全局注意力算子，将内存布局与注意力几何分离：局部邻域注意力保持精确，仅把远距离上下文压缩为连续的 3D 块摘要，并用基于真实 token 网格坐标的轴向 RoPE 索引每次 query-key 交互。
正文 · AI 翻译
摘要：将 3D 体数据打包成 token 序列并不仅仅是长序列建模。体数据一旦被打包，序列顺序就不再编码样本的几何结构——因此，以序列位置为索引的位置机制学到的可能是内存布局，而非对象本身。这是对打包几何数据做注意力时的一种普遍失效模式。我们提出 PACK3D，一种局部-全局注意力算子，将内存布局与注意力几何分离。PACK3D 保持局部邻域注意力精确，仅将远距离上下文压缩为连续的 3D 块摘要，并用基于真实 token 网格坐标（而非打包位置）的轴向 RoPE 为每次查询-键交互建立索引。由于旋转在块被摘要之前施加，查询到摘要的 logit 仍是查询相对 3D 位移的加权和；因此压缩后的全局上下文在打包后仍保持空间可解释性，而不会退化为匿名的池化内容。我们直接测量了该失效模式。在一个受控合成任务上——用一种打包方式训练，只改变 token 的内存顺序，保持物理标注规则不变——学习到的位置嵌入和打包序列 RoPE 能完美解决训练布局，却在 Morton、块连续和随机重打包下崩溃，而轴向网格坐标 RoPE 始终精确。同一坐标系可迁移到真实数据：在 Allen WTC-11 hiPSC 显微图像上，PACK3D 在 15 结构联合任务上优于参数匹配的 3D U-Net，也优于匹配的学习位置局部-全局基线，对照实验表明增益来源是坐标系而非编码器容量。融合的 Triton 实现在 65k token 时达到与窗口注意力相当的延迟，同时提供窗口化无法提供的长程上下文——因此该算子不仅正确，而且可大规模训练。
| 评论： | 已被 NeurIPS 2026 接收（海报） |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.38694 [cs.CV] |
| （或本版本使用 arXiv:2610.38694v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.38694 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Amil Khan [查看邮箱]
[v1]
2026 年 10 月 28 日周三 18:58:50 UTC（50 KB）
来源：arXiv cs.AI · arxiv.org