arXiv cs.CL· Andrei-Alexandru Manea, Jind\v{r}ich Libovick\'y, Philipp J. R\"osch·· 10 小时前AI 评分31
MultiInpaintCOCO：多语言细粒度视觉理解基准发布
MultiInpaintCOCO: Fine-Grained Visual Understanding in Multiple Languages
AI 导读
研究者将英文细粒度视觉数据集 InpaintCOCO 扩展至覆盖五大语系的 13 种语言，构建出含 953 个最小对比样本的多语言基准 MultiInpaintCOCO。测试显示低资源语言性能显著下降，最强预测因素是语言可用数据资源而非与英语的类型学相似度；跨语言检索中多数模型存在偏向英语的系统性偏差，Gemma 3 英语偏好最强，Qwen 3 偏差最小，尽管两者单语准确率相近。
正文 · AI 翻译
摘要：此前的研究表明，视觉-语言（VL）模型难以理解细粒度的图像细节，往往关注整体布局。此外，英语方面的任何弱点在多语言环境中往往会被进一步放大。为研究这一问题，我们将 InpaintCOCO（一个聚焦细粒度视觉细节的英语数据集）扩展到分属五个语系的 13 种类型学上多样的语言，创建了 MultiInpaintCOCO——一个包含 953 个最小对样本的新多语言基准。我们进一步测试了多语言多模态检索中的若干最先进模型，既考虑了轻量级 VL CLIP 类编码器，也考虑了大语言模型。结果表明，低资源语言的性能大幅下降，最强的预测因素是这些语言可用的数据资源，而非与英语的类型学相似性。在跨语言检索中，大多数模型表现出对英语的系统性偏好：当给定一个非英语的正确描述和一个英语的错误描述时，模型会优先选择英语描述。这种偏好在不同架构之间差异很大。在测试的模型中，Gemma 3 表现出最强的英语偏好，而 Qwen 3 的偏差最小，尽管两者在各语言上的单语准确率相近。代码可在 this https URL 获取。
| 主题： | 计算与语言（cs.CL） |
| 报告编号： | 45 |
| 引用为： | arXiv:2611.03309 [cs.CL] |
| （或 arXiv:2611.03309v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.03309 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊参考： | 第 6 届多语言表示学习研讨会（MRL 2026）论文集，第 560-585 页 |
| 相关 DOI： | https://doi.org/10.18653/2026.mrl-1.45
链接到相关资源的 DOI |
提交历史
来自：Andrei-Alexandru Manea [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 15:39:35 UTC（18,466 KB）
来源：arXiv cs.CL · arxiv.org