arXiv cs.AI· Zhiguang Liu, Yi Shang·· 13 小时前AI 评分31
RoSeViT：面向 ARC 视觉推理的角色分离式 Vision Transformer
RoSeViT: Role-Separated Vision Transformers for ARC Visual Reasoning
AI 导读
RoSeViT 通过 controller token 与 workspace token 显式分离指令推理和视觉网格计算，在标准 VARC 协议下优于稠密 ViT 基线。
正文 · AI 翻译
摘要：ARC 任务可以表述为视觉变换问题，其中模型必须从少量示例中推断出高层变换规则，并在整个网格上一致地应用该规则。虽然稠密视觉 Transformer（ViT）在此设置下表现良好，但它们在共享的 token 表示中纠缠了局部视觉状态和全局变换逻辑，这可能阻碍一致的推理。在本文中，我们提出 RoSeViT，一种角色分离的视觉 Transformer，它将高层指令推断与视觉工作区计算显式解耦。RoSeViT 使用控制器 token 聚合变换级信息，使用工作区 token 表示视觉网格，并通过结构化注意力传递将非局部工作区交互路由到控制器。这一设计源于我们的形式化分析：强制共享指令表示会降低视觉变换建模的有效复杂度。在 ARC 的标准 VARC 训练与评估协议下，RoSeViT 优于稠密 ViT 基线。在受控的主干替换设置中，它将 ARC-1 准确率从 54.5 提升至 56.6，结合循环精炼后达到 58.8。集成到完整系统后，RoSeViT-Ensemble 将 ARC-1 上的性能从 60.4 提升至 62.6。这些结果表明，显式分离指令表示与工作区表示能够在 ARC 任务上带来更有效的视觉推理。GitHub 仓库：此 https URL。
| 评论： | NeurIPS 2026 海报（camera-ready）。代码、检查点和预测：此 https URL |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| ACM 分类： | I.2.6; I.2.10 |
| 引用为： | arXiv:2601.13562 [cs.AI] |
| （或本版本使用 arXiv:2601.13562v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2601.13562 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Zhiguang Liu [查看邮箱]
[v1]
2026年1月20日星期二 03:37:17 UTC（1,813 KB）
[v2]
2026年10月28日星期三 04:48:58 UTC（1,791 KB）
来源：arXiv cs.AI · arxiv.org