视觉语言模型如何像有偏的贝叶斯观察者一样整合冲突证据

Vision-Language Models Integrate Conflicting Evidence Like Biased Bayesian Observers

AI 导读

研究从贝叶斯视角提出，视觉语言模型（VLM）会将来自文本和图像的条件独立证据与先验信念结合，并受模态特定偏差影响。所构建的两参数线索组合模型能准确预测 VLM 在未见过的输入退化组合下的偏好，且无需重新拟合即可迁移到新的不可靠形式。该框架将证据强度与整合偏差分离，解释了 VLM 为何能在更重视视觉证据的同时仍跟随文本，从而在单一组合规则下统一了文本主导与视觉主导的报道。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：视觉语言模型必须调和相互冲突的文本与图像。先前的工作以模态偏差来描述由此产生的行为——例如“对文本的盲目信任”——但为何这种偏好会因模型、领域和输入条件而异，仍不清楚。我们从贝叶斯视角提出一种可预测的解释，假设 VLM 将来自各模态的条件独立证据与先验信念相结合，并受模态特定偏差的影响。由此得到的双参数线索组合模型能准确预测 VLM 在未见过的输入退化组合下的偏好，并可迁移到新的不可靠形式而无需重新拟合。将证据强度与整合偏差分离，解释了 VLM 为何能在更重视视觉证据的同时仍遵循文本，从而在单一组合规则下调和了关于文本主导与视觉主导的报道。

学科：	计算与语言（cs.CL）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）
引用为：	arXiv:2610.19407 [cs.CL]
	（或 arXiv:2610.19407v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.19407 arXiv 颁发的 DOI，经由 DataCite（待注册）

提交历史

来自：Josh Barua [查看邮箱]
[v1] 2026年10月14日星期三 01:55:36 UTC（2,157 KB）

来源：arXiv cs.CL · arxiv.org