arXiv cs.AI· Sascha Saralajew, Eleonora Poeta, Eliana Pastor, Ammar Shaker·· 11 小时前AI 评分27
审计 CUB 上 Concept Bottleneck 模型的准确率来源
Auditing Where Concept Bottleneck Accuracy Comes From on CUB
AI 导读
研究审计了 CBM 与 CEM 在 CUB-200-2011 上的准确率来源，发现 CUB 标注噪声过大：类级训练标签与逐图标注仅在约 82% 的图像-概念对上一致，基于逐图标注训练的分类器物种准确率仅约 37%。
正文 · AI 翻译
摘要：概念瓶颈模型（CBM）承诺给出人类可以借助“弯曲的喙”等概念进行检查和纠正的预测。然而在 CUB-200-2011 这一标准基准上，其进展却像普通分类器一样衡量：依据任务准确率和概念准确率。这两者都无法揭示标签是否由所暴露的概念分数预测得出，也无法揭示某个概念是否由该概念的视觉证据支撑，而非由共现特征（例如指向整个物种的线索）支撑。我们审查了 CBM 与概念嵌入模型（CEM）在 CUB 上的准确率究竟来自何处。CUB 标注噪声过大，无法解释这一点：类别级训练标签仅与约 82% 的图像—概念对的逐图像标注一致，而在逐图像标注上训练的分类器仅达到约 37% 的物种准确率。泄漏探测表明，CEM 的预测无法由其概念分数重建；缺失的类别信息存在于内部嵌入中。我们识别出类别信息可进入概念分数的四个设计维度——感受野、共享表示与概念特定表示、依赖范数的评分，以及任务监督。消融实验表明，其中大部分信息通过非局部特征进入：将 ResNet50 主干限制为局部 BagNet 图像块后，可从概念分数恢复的准确率从 72% 降至 43%，接近真实标注所能支撑的水平；而联合训练又会以牺牲概念准确率为代价将其重新提高。定位与遮挡实验表明，局部性使可归因性变得可测量，但并不保证其存在：在类别级标签下，局部概念分数将头部作为身体、翅膀和尾部概念的代理，而 CEM 的概念分数对遮挡其支撑部位几乎无响应。因此，任务准确率和概念准确率应辅助而非主导 CBM 的评估；并且鉴于标注存在噪声，不应过度解读 CUB 上的准确率差距。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28059 [cs.CV] |
| （或 arXiv:2610.28059v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28059 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sascha Saralajew [查看邮箱]
[v1]
2026年10月20日 星期二 11:47:49 UTC（2,639 KB）
来源：arXiv cs.AI · arxiv.org