跳到正文
arXiv cs.AI· Nanxiang Jiang, Yang Liu, Yuanhao Wang, Min Xu·· 13 小时前AI 评分34

LoCo:在视觉自回归模型中定位概念

Localizing Concepts in Visual Autoregressive Models

AI 导读

研究者提出 LoCo,首个模型无关的框架,可在视觉自回归模型中定位特定概念出现的位置与时机,并沿 Layer、Scale、Position 三个维度映射概念知识。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:理解视觉概念的内部路由对于生成模型的安全、可控适配至关重要。虽然概念定位在扩散模型中已被广泛研究,但新兴的下一尺度视觉自回归模型范式在很大程度上仍未被探索。在本文中,我们提出了 LoCo,这是首个与模型无关的框架,用于定位特定概念在自回归模型中出现的位置和时机。得益于下一尺度生成固有的由粗到细特性,我们的方法能够精确地在三个不同维度上映射概念知识:层、尺度和位置。为了在无上下文偏差的情况下系统地定位和评估概念路由,我们提出了 LoCoBench,这是一个涵盖 10 个不同类别的综合数据集。对 Infinity、HunyuanImage-3.0 和 InfinityStar 等图像与视频自回归模型进行的广泛探测表明,定位到的位置既具有可解释性,又与概念涌现存在因果关系。基于这些发现,我们将定位方法应用于三个关键场景:概念擦除、模型个性化和对抗性概念注入。实验表明,我们的定向干预达到了最先进的性能,在保持良性效用的同时大幅降低了计算开销。总体而言,我们的发现揭示了概念知识在自回归生成过程中是如何被路由的,为更可解释、更高效、更安全的适配提供了一条实用路径。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2610.40061 [cs.CV]
  (或 arXiv:2610.40061v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.40061

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jiang Nanxiang [查看邮箱]
[v1] 2026年10月29日 星期四 13:49:01 UTC(3,568 KB)

来源:arXiv cs.AI · arxiv.org