arXiv cs.AI· Laura Yao, Shixing Yu, Jie Peng, Promit Ghosal, Kyra Gan, Tianlong Chen·· 3 天前AI 评分22
MOSAIC：面向视觉语言模型的 patch 级训练样本归因方法
Cross-Modal Latent Influence: Patch-Level Training Sample Attribution for Vision-Language Models
AI 导读
MOSAIC（Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization）通过共享稀疏图像-文本隐空间与 EK-FAC，将训练样本影响分解到具体文本短语和图像区域，实现 VLM 的 patch 级归因。
正文 · AI 翻译
摘要：解释视觉语言模型（VLM）的预测需要追踪训练样本影响，直至介导该影响的多模态证据，然而现有归因方法大多仅在样本层面运作。近期的潜在介导影响方法为语言模型提供了特征级归因，但缺乏将影响落地到 VLM 所需的多模态与空间结构。我们提出 MOSAIC（用于影响刻画的多模态正交化稀疏自编码器）。它学习一个共享的稀疏图像—文本潜在空间，其中的概念具有以下性质：1）在每种模态内稀疏，2）支撑于连续的图像区域，3）与描述它们的短语对齐，4）近似去相关。随后它应用 EK-FAC 通过这些概念分解训练样本影响，并将其贡献定位到特定的文本短语和图像区域。我们在 Qwen 和 Gemma 上，跨图像描述、胸部 X 光理解和视觉问答任务评估 MOSAIC。所学特征更具局部性和连贯性，且不降低任务表现；消融按影响排序的潜在变量比消融按激活或频率排序的潜在变量更能改变模型输出。我们发现视觉证据能够显著重组训练数据归因，同时保留更多共享潜在结构。因此，MOSAIC 将模型行为的来源与承载该影响的多模态证据连接起来。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14190 [cs.AI] |
| （或 arXiv:2610.14190v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14190 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Laura Yao [查看邮箱]
[v1]
2026年10月9日星期五 18:04:04 UTC（18,073 KB）
来源：arXiv cs.AI · arxiv.org