arXiv cs.AI· Qiming Huang, Peixi Liu, Jianbo Jiao·· 10 小时前AI 评分24
TIB：突破对齐假设的样本级 tempered 信息瓶颈多模态归因方法
TIB: Sample-wise Tempered Information Bottleneck for Multimodal Attribution beyond Alignment Assumption
AI 导读
针对多模态归因中图像-文本对语义未对齐导致信息瓶颈方法过度收缩后验、产生强制解释的问题，研究者提出 TIB——一种样本级 tempered 信息瓶颈框架，按跨模态可靠性自适应调节归因强度，无需假设语义对齐。理论分析揭示了现有 IB 归因目标在错配下的结构性缺陷，受控基准与大规模数据集实验验证了该失效模式及 TIB 的有效性。论文已被 NeurIPS2026 接收。
正文 · AI 翻译
摘要：多模态（例如视觉-语言，本文即指此类）归因旨在在无法获取真实解释性监督的情况下解释模型。现有多模态归因方法通常依赖成对模态作为代理监督，隐含地假设图像-文本对在语义上是对齐的。基于信息瓶颈（IB）的归因方法遵循这一总体范式，并通过全局充分性-压缩目标来实例化它。然而，在现实的多模态数据集中，由于部分语义错位和不可靠的跨模态对应关系，这一假设经常被违背。通过理论分析，我们表明，在这种错位下，基于信息瓶颈的归因目标表现出结构性局限：通过假设所有代理监督信号具有同等可靠性，它们会导致后验过度收缩和强制解释。为解决这一问题，我们提出 TIB，一种逐样本的 Tempered Information Bottleneck 框架，它根据跨模态可靠性自适应地调节归因强度，而不假设语义对齐。在受控基准和大规模数据集上的大量实验表明了所提方法的有效性，同时也验证了所识别出的失效模式。
| Comments: | 已被 NeurIPS2026 接收 |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；多媒体（cs.MM） |
| Cite as: | arXiv:2611.12997 [cs.CV] |
| （或 arXiv:2611.12997v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12997 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Qiming Huang [查看邮箱]
[v1]
2026年11月8日星期日 14:06:38 UTC（7,594 KB）
来源：arXiv cs.AI · arxiv.org