跳到正文
arXiv cs.AI· Zhimu Zhou, Yanpeng Zhao, Qiuyu Liao, Bo Zhao, Xiaojian Ma·· 14 小时前AI 评分34

图像编辑模型中的视觉规划能力探析:EAR 与 AMAZE 基准

Probing Visual Planning in Image Editing Models

AI 导读

研究提出 EAR「编辑即推理」范式,将视觉规划重构为单步图像变换,并构建程序化生成的 AMAZE 数据集,用经典迷宫与皇后问题探测模型的视觉推理能力。评测显示,主流闭源与开源编辑模型在零样本设置下均表现不佳,但在基础规模上微调后可泛化到更大域内尺度及域外尺度与几何形状。性能最佳的模型运行于高端硬件,其零样本效率仍不及人类解题者。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉规划是人类智能的一个关键方面,尤其是在需要复杂空间推理和导航的任务中。然而,在机器学习中,这个本质上是视觉的问题往往通过以语言为中心的视角来处理。尽管近期研究表明完全视觉化的方法具有前景,但由于逐步生成式规划的范式,它们存在显著的计算效率低下问题。在这项工作中,我们提出了 EAR,一种编辑即推理的范式,将视觉规划重新表述为单步图像变换。为了将内在推理与视觉识别分离,我们采用抽象谜题作为探测任务,并引入了 AMAZE,一个程序化生成的数据集,包含经典的迷宫问题和皇后问题,涵盖不同且互补的视觉规划形式。AMAZE 的抽象特性也便于对自回归模型和基于扩散的模型在像素级保真度和逻辑有效性两方面进行自动评估。我们评估了领先的专有和开源编辑模型。结果表明,它们在零样本设置下都表现不佳,而在基础规模上进行微调能够显著泛化到更大的域内规模和域外规模及几何形状。然而,我们运行在高端硬件上的最佳模型仍无法匹敌人类解题者的零样本效率,凸显了神经视觉推理中持续存在的差距。
评论: 已被 NeurIPS 2026 接收。我们的代码可在 此 https URL 获取
主题: 计算机视觉与模式识别 (cs.CV);人工智能 (cs.AI)
引用为: arXiv:2604.22868 [cs.CV]
  (或 arXiv:2604.22868v2 [cs.CV] 为此版本)
  https://doi.org/10.48550/arXiv.2604.22868

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Zhimu Zhou [查看电子邮件]
[v1] 2026年4月23日星期四 19:00:31 UTC(10,402 KB)
[v2] 2026年10月26日星期一 05:45:27 UTC(10,409 KB)

来源:arXiv cs.AI · arxiv.org