arXiv cs.AI· Ruibo Wen, Hang Shao, Yiming Lei·· 9 天前AI 评分17
CARE：基于师生蒸馏的约束注意力精炼用于细粒度视觉分类
CARE: Constrained Attention Refinement for Fine-Grained Visual Classification via Teacher-Student Distillation
AI 导读
研究者提出 CARE，一种通过师生蒸馏实现可解释细粒度识别的约束注意力精炼框架，在冻结骨干网络的可解释设定下于 CUB 达到 78.5% Top-1 准确率。CARE 将最终预测与解释保留在类特定注意力学生模型中，并引入仅在训练时使用的辅助查询教师，读取选定的 DINOv2 中间层并迁移 logit 标准化的类判别知识。
正文 · AI 翻译
摘要：细粒度视觉分类要求模型识别细微的局部特征，同时揭示其预测背后的视觉证据。类别特定的注意力通路为可解释识别提供了自然基础，但其受限的预测结构限制了判别能力，并且未能充分利用强大预训练骨干网络中的中间表示。为解决这一问题，我们提出 CARE，一种通过师生蒸馏实现可解释细粒度识别的约束注意力精炼框架。CARE 将最终预测和解释保留在类别特定的注意力学生模型中，同时引入仅在训练时使用的辅助查询教师模型，该教师模型通过可学习查询读取选定的 DINOv2 中间层。教师模型融合多层级表示，并将 logit 标准化的类别判别知识传递给学生模型。为进一步精炼解释通路，我们设计了多样性和稀疏性项来正则化学生注意力头，减少冗余并促进紧凑的特征定位。在 CUB、Oxford-IIIT Pet、Stanford Dogs 和 Stanford Cars 上的实验表明，CARE 在可解释的冻结骨干设置下取得了强劲的分类性能，在 CUB 上达到 78.5% 的 Top-1 准确率。使用插入和删除指标的忠实性分析进一步表明，排名靠前的注意力区域保留了用于解释的类别相关证据。
| 评论： | 15 页 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.11153 [cs.CV] |
| （或 arXiv:2610.11153v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11153 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yiming Lei [查看电子邮件]
[v1]
2026年10月8日星期四 03:15:12 UTC（1,929 KB）
来源：arXiv cs.AI · arxiv.org