arXiv cs.AI· Haiyun Guo, Hongyu Guo, Xiangzhao Hao, Jiarui Guo, Jinqiao Wang, Tat-Seng Chua·· 2 天前AI 评分22
UniFGVC：基于属性感知多模态检索的通用免训练少样本细粒度视觉分类
UniFGVC: Universal Training-Free Few-Shot Fine-Grained Vision Classification via Attribute-Aware Multimodal Retrieval
AI 导读
UniFGVC 是一个免训练的少样本细粒度视觉分类框架，将分类任务重构为基于预定义类别模板的多模态检索问题。其核心 CDV-Captioner 模块借助 MLLM 生成结构化文本描述，结合链式推理与视觉参考定位相似类别的判别性视觉属性，抑制模型幻觉。在 12 个 FGVC 数据集上，该方法不仅超越现有少样本 CLIP 方法，还超过多个全监督 MLLM 方法。
正文 · AI 翻译
摘要：小样本细粒度视觉分类（FGVC）旨在利用非常有限的数据区分细微差别的类别。虽然多模态大语言模型（MLLM）在细粒度视觉理解和开放世界类别识别方面均展现出强大能力，但直接在小样本 FGVC 任务上对其进行微调通常会导致对稀疏样本的过拟合，从而侵蚀其宝贵的开放世界知识并损害泛化能力。为了从根本上克服这一局限，我们提出了 UniFGVC，一个通用的免训练框架，将范式从参数微调转变为免训练的基于检索的推理。UniFGVC 将小样本 FGVC 重新表述为使用预定义类别模板的多模态检索问题。其核心是类别判别性视觉描述器（CDV-Captioner），这是一个属性感知模块，旨在利用 MLLM 生成结构化文本描述，明确 pinpoint 相似类别之间的判别性视觉属性。通过整合思维链推理和视觉参考，CDV-Captioner 减轻了幻觉并最大化文本描述的判别能力，从而将图像转换为属性丰富的图像-描述对。随后，UniFGVC 以即插即用方式利用任意预训练的视觉和文本编码器，从两种模态中提取特征，并计算其与所有类别模板的相似度以进行识别。在 12 个 FGVC 数据集上的大量实验证明了 UniFGVC 的通用兼容性和持续优越性。它不仅超越了现有的基于 CLIP 的小样本方法，还超越了几种基于 MLLM 的全监督方法，证实了所提出的检索范式的普遍优势。
| 评论： | 被 IEEE TMM 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2508.04136 [cs.CV] |
| （或 arXiv:2508.04136v4 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2508.04136 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Hongyu Guo [查看电子邮件]
[v1]
2025年8月6日星期三 07:02:39 UTC（1,272 KB）
[v2]
2026年1月23日星期五 10:16:53 UTC（2,022 KB）
[v3]
2026年2月3日星期二 09:30:40 UTC（2,022 KB）
[v4]
2026年10月15日星期四 15:30:05 UTC（5,252 KB）
来源：arXiv cs.AI · arxiv.org