arXiv cs.AI· Rohit Saxena, Alessandro Suglia, Marek Rei, Pasquale Minervini·· 11 小时前AI 评分58
研究称视觉语言模型存在逆缩放：更大模型在部分子任务上反而更差
On the Limits of Scale: Inverse Scaling in Vision-Language Models
AI 导读
arXiv 论文《On the Limits of Scale: Inverse Scaling in Vision-Language Models》发现视觉语言模型在子任务层面存在逆缩放，同一模型族中更大的模型在特定问题类别上表现不如更小的模型。
正文 · AI 翻译
摘要：缩放定律表明，增加模型规模、训练数据和计算量通常会产生单调的性能提升。虽然这在总体层面上往往成立，但我们提供了系统性证据，表明视觉语言模型（VLM）在子任务层面表现出逆缩放：在同一模型家族内，特定问题类别上较大的模型表现反而比小模型更差。我们评估了来自四个不同模型家族的 19 个模型，涵盖八个多模态基准（九个评估划分），每个模型回答 29,386 个问题，总计 558,334 次模型-问题评估。通过对每个家族中所有模型对进行逐问题成对分析，我们识别出 375 个子任务-模型对组合表现出逆缩放，涉及 4,342 个唯一查询，其中小模型回答正确而大模型失败，并且我们发现这些模式在独立开发的架构中可复现。我们识别出 13 个子任务-数据集对在多个家族中表现出逆缩放，这与该现象由任务驱动而非模型特定相一致。在我们的研究中，受影响最大的领域包括多图像空间推理、视觉感知和大学水平 STEM 知识，在某些情况下准确率差距超过 20 个百分点，而图表理解似乎相对不受影响。这些发现挑战了增加模型规模会统一提升多模态能力的假设，并表明模型选择应具备任务意识。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27360 [cs.CV] |
| （或 arXiv:2610.27360v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27360 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rohit Saxena [查看电子邮件]
[v1]
2026年10月19日星期一 22:39:42 UTC（1,248 KB）
来源：arXiv cs.AI · arxiv.org