跳到正文
arXiv cs.AI· Shahar Haim, Daniel C. McNamee·· 4 小时前AI 评分31

预训练表征中的直觉向量如何引导扩散模型推理

Intuition Vectors from Pretrained Representations Steer Diffusion-Based Reasoning

AI 导读

研究者用冻结的自监督视觉编码器提取“直觉向量”,即图像嵌入间的简单向量差,可区分 794 个抽象推理任务,准确率最高 87.2%。在 ARC 任务上,用直觉向量条件化预训练视觉潜空间的扩散 Transformer,效果优于完整示例条件化,测试时算力减少近 6 倍,并支持零样本推理。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:抽象视觉推理需要识别少量示例之间的关系,并将其应用于新的输入。近期的进展由大型语言模型和视觉语言模型或专门的领域特定架构推动。目前尚不清楚抽象推理能否直接由预训练视觉表示的关系几何结构支持,而不依赖基于语言的推理或任务特定的表示学习。我们使用冻结的自监督视觉编码器研究这一可能性。通过潜在向量算术,我们确认两个自监督编码器的表示几何结构支持在 Bongard 问题上进行抽象概念判别,并编码 ARC 任务中输入-输出对之间的系统关系。图像嵌入之间的简单向量差(我们称之为直觉向量)捕捉了在同一任务的实例间泛化的变换。这些向量以高达 87.2\% 的准确率区分 794 个抽象推理任务,在任务不变的视觉变换中保持关系结构,并引导对未见输入的输出检索。鉴于此,我们检验了以下假设:这种关系结构可以通过以预训练视觉潜在空间中运行的扩散变换器为条件来引导生成式推理。在留出的 ARC 任务上,直觉向量条件化优于以完整演示为条件,同时所需的测试时计算量减少近六倍,并支持零样本推理。综上所述,我们的发现表明,预训练视觉表示为抽象推理提供了可迁移的基础,使得一种模块化方法成为可能,其中从演示中推断出的关系结构引导生成式推理。
学科: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2609.32619 [cs.LG]
  (或 arXiv:2609.32619v2 [cs.LG] 为此版本)
  https://doi.org/10.48550/arXiv.2609.32619

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Shahar Haim [查看电子邮件]
[v1] 2026年9月26日星期六 13:40:07 UTC(10,351 KB)
[v2] 2026年11月17日星期二 14:06:33 UTC(14,757 KB)

来源:arXiv cs.AI · arxiv.org