arXiv cs.AI· Yusong Zhao, Hengyi Wang, Tanuja Ganu, Akshay Nambi, Hao Wang·· 10 天前AI 评分24
SAE++：级联稀疏自编码器学习多模态 LLM 的多层级视觉概念
SAE++: Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs
AI 导读
SAE++ 是一种级联稀疏自编码器架构，通过在初级 SAE 的解码器权重上训练二级 SAE，学习多模态 LLM 中的层级视觉概念。在 Qwen3-VL、Gemma-3 和 LLaVA 上的实验显示，SAE++ 在层级概念一致性上优于现有 SAE 基线，并支持对 MLLM 输出的组级概念干预。代码已开源。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）在视觉-语言任务上表现出强劲性能，但其内部视觉表征仍难以解释。稀疏自编码器（SAEs）提供了一种可扩展的方式，将稠密模型激活分解为稀疏、可解释的特征。然而，现有 SAE 架构主要恢复扁平的特征字典，不太适合显式的多层级概念组织。本文中，我们提出一种级联稀疏自编码器架构，称为 SAE++，用于在 MLLMs 中学习分层视觉概念。SAE++ 不嵌套或堆叠 SAE 稀疏激活编码，而是直接在一级 SAE 的解码器权重上训练二级 SAE，将学到的低层特征方向视为高层抽象的输入。这一设计使 SAE++ 能够学习“概念的概念”，同时避免嵌套的共享前缀耦合、Matryoshka 式层级结构带来的缺陷，以及朴素堆叠 SAE 的瓶颈。在 Qwen3-VL、Gemma-3 和 LLaVA 上跨多个视觉数据集的实验表明，SAE++ 在分层概念一致性方面相较最先进的 SAE 基线提升了可解释性。概念引导的结果进一步表明，所学到的概念组支持对 MLLM 输出进行有效的组级干预。代码见 this https URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.16193 [cs.CV] |
| （或 arXiv:2606.16193v3 [cs.CV] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2606.16193 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yusong Zhao [查看邮箱]
[v1]
2026年6月15日星期一 04:10:40 UTC（5,005 KB）
[v2]
2026年10月6日星期二 04:40:58 UTC（3,180 KB）
[v3]
2026年10月7日星期三 03:47:40 UTC（3,180 KB）
来源：arXiv cs.AI · arxiv.org