arXiv cs.AI· Jiongfan Yang, Weichen Fan, Haiwen Diao, Zhongang Cai, Ziwei Liu·· 13 小时前AI 评分31
SpecSlot：面向像素空间生成 Transformer 的读写分配路由式角色耦合 Tokenization
Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
AI 导读
SpecSlot 是一种像素空间 rectified-flow Transformer，通过将每个空间锚点扩展为多个 slot 并各分配不相交的 DCT 系数频带，使输出细节与全局注意力序列长度解耦，仅最低频 slot 参与全局注意力。
正文 · AI 翻译
摘要：像素空间生成式 Transformer 通常为每个图像块使用一个 token，因此要捕捉更精细的细节就需要更多 token，并使全局注意力变得越来越昂贵。我们观察到，更精细的细节并不一定需要更多的全局通信：低频结构受益于全局交换，而高频细节可以在局部建模。基于这一洞见，我们提出了 SpecSlot，一种像素空间整流流 Transformer，它将输出细节与全局注意力序列的长度解耦。SpecSlot 将每个空间锚点扩展为多个槽位，每个槽位分配一组不相交的 DCT 系数；这将锚点密度与频谱细分分离开来。每个锚点只有最低频的槽位参与全局注意力，而所有槽位在局部交互。这使得模型能够在不扩大全局序列的情况下增加频谱细节。空间头进一步为频谱预测添加局部校正，而生成状态、目标和损失仍保持在像素空间中。在 ImageNet-256 上，SpecSlot 在收敛更快的同时，达到了与 FLOPs 匹配的 JiT 对照模型相当的最终 FID。在 ImageNet-512 上，它以少 3.9% 的 FLOPs 将 FID 较对照模型提升了 2.84，并以低 38.2% 的成本将 FID 与 JiT-B/16 的差距缩小到仅 0.69。在文本到图像生成中，SpecSlot 以低 40.6% 的前向成本在 DPG-Bench 上超过 JiT-B/8 达 1.06。
| 评论： | 22 页，10 张图；正在 ICLR 2027 审稿中 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2610.40647 [cs.CV] |
| （或 arXiv:2610.40647v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40647 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiongfan Yang [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 17:59:21 UTC（9,853 KB）
来源：arXiv cs.AI · arxiv.org