arXiv cs.AI· Md Raisul Kibria, S\'ebastien Lafond·· 11 小时前AI 评分18
语言预训练如何影响细粒度分类的表示语义：一项基于 CUB-200 的可解释性对比研究
Assessing Representation Semantics Under Language Pretraining in Fine-Grained Classification
AI 导读
一项 arXiv 研究提出可解释性驱动的两阶段对比框架，在 CUB-200 上比较仅分类监督与图像描述生成监督训练出的编码器表示。结果显示，描述监督的表示对显著区域移除更敏感、与标注物体部件更对齐、更少依赖背景；分类监督的表示对低显著区域移除略更鲁棒。在 Oxford-IIIT Pet 上的消融实验呈现一致趋势。
正文 · AI 翻译
摘要：理解监督信号如何塑造语义视觉表示仍然具有挑战性，尤其是在细粒度、低数据量的设定下。视觉模型的标准评估依赖下游准确率，而这往往无法捕捉所学表示中的结构性差异。我们提出了一个紧凑的、由可解释性驱动的框架，用于比较在 CUB-200 上分别以仅分类监督和字幕生成监督训练的编码器。采用受控的两阶段协议，其中两个编码器最终都针对同一分类任务进行优化，我们得以对所得表示进行直接比较。显著性图通过注意力 rollout 和梯度加权 rollout 生成，并用五项指标进行评估，涵盖忠实性（正向和负向扰动）和定位（关键点强调、背景归因和推土机距离）。在随机种子和解释方法上，字幕监督产生的表示对移除显著区域更敏感、与标注的物体部件更对齐，且对背景区域的依赖更少，而分类监督产生的表示对移除低显著性区域则略为更稳健。在 Oxford-IIIT Pet 数据集上的消融研究显示，关键指标上趋势一致。这些结果表明，所提出的框架使监督引起的表示差异可被观察和量化，而不仅限于下游准确率。更广泛地说，它为评估所学表示以及比较替代训练和迁移学习策略提供了系统性的基础。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28051 [cs.CV] |
| （或 arXiv:2610.28051v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28051 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Md Raisul Kibria [查看电子邮件]
[v1]
2026年10月20日星期二 11:39:21 UTC（10,495 KB）
来源：arXiv cs.AI · arxiv.org