跳到正文
arXiv cs.AI· Julian Skirzynski, Harry Cheon, Shreyas Kadekodi, Meredith Stewart, Berk Ustun·· 10 小时前AI 评分24

为概念瓶颈模型构建合成基准,衡量真正重要的能力

Measuring What Matters: Synthetic Benchmarks for Concept Bottleneck Models

AI 导读

研究者提出一套面向概念瓶颈模型的合成基准,可生成带标签数据集并控制数据模态、概念选择与标注质量等影响性能的属性,从而隔离模型失败原因。该基准已用于评估决策支持与自动化两大用例,能识别新的失败模式并归因于架构或数据。基准代码已公开,论文为 NeurIPS 2026 Evaluations and Datasets Track 相机稿。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:概念瓶颈模型利用在输入中检测到的高层概念进行预测。尽管这些模型提供了一种从可解释性中获益的简单方法,但它们难以训练和评估,因为很少有真实世界数据集包含概念标签。在本文中,我们为概念瓶颈模型开发了合成基准。借助我们的基准,研究人员可以生成带标签的数据集,并控制影响性能的属性,例如数据模态、概念的选择或标注质量。因此,他们可以找到适合这些模型的问题,并分离出其失败背后的因素。我们展示了我们的基准如何用于评估概念瓶颈模型的主要用例:决策支持,即帮助人类专家做出更好的决策;以及自动化,即在无监督的情况下处理常规任务。我们的演示展示了这些基准如何识别新的失败模式,并将其归因于架构或数据。
评论: Camera-ready 版本,NeurIPS 2026(评估与数据集 Track)。基准可在 此 https URL 获取
主题: 机器学习(cs.LG);人工智能(cs.AI)
ACM 分类: I.2.6
引用为: arXiv:2606.04326 [cs.LG]
  (或此版本的 arXiv:2606.04326v2 [cs.LG])
  https://doi.org/10.48550/arXiv.2606.04326

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Julian Skirzynski [查看邮箱]
[v1] 2026年6月3日 星期三 01:01:05 UTC(1,311 KB)
[v2] 2026年11月17日 星期二 19:59:15 UTC(370 KB)

来源:arXiv cs.AI · arxiv.org