arXiv cs.AI· S M Rayeed, Qian Ma, Charles V. Stewart, Yao Ma·· 10 小时前AI 评分38
Bio-VQA：视觉语言模型在生物学视觉理解上表现如何？
How Finely Can Vision-Language Models See Biology? Bio-VQA: A Benchmark for Taxonomic, Morphological, Spatial and Individual Reasoning
AI 导读
研究者发布 Bio-VQA，这是目前最大的生物视觉问答基准，含 1.86M 问题、217K 图像，覆盖分类学、形态属性、空间计数与个体重识别四类任务。评测 18 个 3.75B 至 38.4B 参数的开源模型发现，通用视觉能力难以迁移到生物对象：最佳模型在 2 至 10 个个体的图像上精确计数仅 41.7%，分类学准确率从门级 0.72 降至学名级 0.12。
正文 · AI 翻译
摘要：在生物多样性监测中，单张图像会引发若干问题：属于哪个分类单元、数量多少、具有何种性状，以及该个体此前是否已被观测过。视觉语言模型（VLM）有望从图像中回答上述所有问题，但其能力在生物学领域基本未经检验，因为现有基准大多聚焦于少数分类群内的物种识别。我们提出 Bio-VQA，这是规模最大的生物视觉问答（VQA）基准，也是唯一涵盖生物视觉理解四个方面的基准：层级分类学推理、细粒度属性定位、定量空间推理和个体重识别。Bio-VQA 包含来自 11 个公开数据集的 217K 张图像上的 1.86M 个问题，并将对错评分扩展为分级评分，因此接近正确的答案比相差甚远的答案得分更高。在评估 3.75B 至 38.4B 参数的 18 个开放权重模型后，我们发现通用视觉能力并不能迁移到生物有机体：在包含 2 至 10 个个体的图像中，最佳模型仅在 41.7% 的图像上精确计数动物，不到其在相同数量日常物体上准确率的一半。分类学准确率降至六分之一，从门水平的 0.72 降至学名水平的 0.12，而规模扩展主要在粗粒度层级上有帮助。与领域专家的差距也相应扩大，从纲水平上 0.731 对 BioCLIP-2 的 0.874（1.2 倍）扩大到学名水平上 0.269 对 0.544（2 倍）。在性状尺寸测量上，18 个模型中有 15 个并不优于一个对每份标本都预测同一固定数值的盲图像基线；在重识别上，18 个模型中有 17 个在对抗条件下低于随机水平。这些失败在模型规模十倍范围内持续存在。我们希望 Bio-VQA 成为检验 VLM 能力向生物领域迁移程度的标准测试。
| 评论： | 被 WACV 2027 接收，正文 8 页；4 幅图，4 张表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05559 [cs.CV] |
| （或 arXiv:2611.05559v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05559 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：S M Rayeed [查看电子邮件]
[v1]
2026年11月3日星期二 19:51:00 UTC（10,868 KB）
来源：arXiv cs.AI · arxiv.org