arXiv cs.AI· Nektarios Kalampalikis, Kavya Gupta, Georgi Vitanov, Isabel Valera·· 9 天前AI 评分22
面向合理概念瓶颈模型：CREAM 框架发布
Towards Reasonable Concept Bottleneck Models
AI 导读
研究者提出 Concept REAsoning Models（CREAM）框架，可在概念瓶颈模型（CBM）推理中显式编码概念-概念（C-C）与概念-任务（C→Y）关系，支持互斥、层级关联等任意类型关系及稀疏 C→Y 关系。CREAM 可选配正则化侧信道以补全不完整概念集，并引入 C→Y 无关的可解释性度量。实验显示其无需额外计算开销即可支持高效干预、避免概念泄漏，在概念缺失时达到黑盒级性能。
正文 · AI 翻译
摘要：我们提出了一种新颖、灵活且高效的框架，用于设计概念瓶颈模型（CBMs），使从业者能够在模型进行预测时，在推理过程中显式地编码和扩展其关于概念-概念（$C-C$）和概念-任务（$C \to Y$）关系的先验知识和信念。由此得到的$\textbf{C}$oncept $\textbf{REA}$soning $\textbf{M}$odels（CREAMs）在架构上编码了任意类型的$C-C$关系，例如互斥性、层次关联和/或相关性，以及可能稀疏的$C \to Y$关系。此外，CREAM 可以选择性地纳入一个正则化侧通道，以补充可能{不完整的概念集}，在鼓励预测以概念为基础的同时实现有竞争力的任务性能。为了在此类设置中评估 CBMs，我们引入了一个与$C \to Y$无关的指标，用于量化当预测部分依赖侧通道时的可解释性。在我们的实验中，我们表明，无需额外的计算开销，CREAM 模型支持高效干预，可以避免概念泄漏，并在概念缺失的情况下达到黑盒级别的性能。我们进一步分析了可选侧通道如何影响可解释性和可干预性。重要的是，即使在只有有限数量概念可用的情况下，侧通道也能使 CBMs 保持有效。
| 评论： | 34 页，22 幅图，更新至已发表版本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2506.05014 [cs.LG] |
| （或 arXiv:2506.05014v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2506.05014 由 DataCite 提供的 arXiv 颁发 DOI |
|
| 期刊 参考： | Transactions on Machine Learning Research, 2026 |
提交历史
来自：Nektarios Kalampalikis [查看电子邮件]
[v1]
2025 年 6 月 5 日星期四 13:22:29 UTC（2,578 KB）
[v2]
2026 年 4 月 11 日星期六 16:01:20 UTC（3,323 KB）
[v3]
2026 年 10 月 8 日星期四 14:45:49 UTC（3,292 KB）
来源：arXiv cs.AI · arxiv.org