arXiv cs.AI· Ziniu Zhang, Zhenshuo Zhang, Jianglin Lu, Ruoxuan Xiong, Yun Fu, Hongyang R. Zhang·· 10 小时前AI 评分24
结构化核代理模型 SKS 实现跨样本多模态归因
Structured Kernel Surrogate Models for Multimodal Attribution
AI 导读
研究者提出结构化核代理模型与 SKS 算法，用结构化组合核在样本与模态的选择状态上做核岭回归，衡量一个样本的某模态如何影响其他多模态样本的学习结果。在两个多模态基准上，SKS 与真实预测结果的相关性比现有方法高 57.8%，下游数据选择平均准确率提升 1.93%。用 SKS 筛选卫星图像时，模型会挑出事故常发路段而非背景图像，且所选数据训练的模型 Hessian 迹更低、损失面更平坦。
正文 · AI 翻译
摘要：我们研究跨样本模态归因问题，即衡量一个样本中的某一模态如何影响其他多模态样本的学习结果。这一问题在多模态系统中至关重要，因为某一数据模态（如文本描述）对某个样本（如自解释图像）可能是冗余的，但同一数据模态对另一个样本可能具有独特的信息价值，或与其他模态结合时具有信息价值。已有工作侧重于单个样本层面的影响估计，如何同时捕捉样本之间和模态之间的交互仍是一个开放问题。为捕捉上述场景，我们提出结构化核代理模型，即从样本和模态到其联合训练时预测结果之间的代理映射。我们设计了 SKS 算法，对单个样本和模态的选择状态应用带有结构化复合核的核岭回归。具体而言，核函数将单个样本中每一对数据模态之间以及两个样本之间的基于核的相似度得分相乘。此外，我们设计了一种基于梯度的估计算法，以高效估计结构化核代理模型。我们在两个多模态基准上评估了我们的方法，涵盖卫星图像、道路网络、文本、音频和表格数据等多种数据模态。我们发现，SKS 与真实预测结果的相关性比现有方法高 $57.8$%。在下游数据选择中，SKS 相比基线将平均准确率提高了 $1.93$%。使用 SKS 选择数据的模型具有更低的 Hessian 迹，表明损失曲面更平坦。使用 SKS 选择卫星图像能够识别出事故场景常发生的路段，而非背景图像。
| 评论： | 20 页。将发表于 NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.13198 [cs.LG] |
| （或 arXiv:2611.13198v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13198 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ziniu Zhang [查看邮箱]
[v1]
2026 年 11 月 9 日星期一 20:21:39 UTC（3,771 KB）
来源：arXiv cs.AI · arxiv.org