arXiv cs.AI· Gregory Verghese, Christopher J. Soelistyo, Mateo Espinosa Zarlenga, Alessandro Barp, Christopher R. S. Banerji·· 2 天前AI 评分22
基于概念的模型中部分干预的有害性与良性泄漏研究
Harmful Partial Interventions and Benign Leakage in Concept-based Models
AI 导读
研究发现，概念监督不完整会加剧概念干预对下游预测的损害，且现有充分性与局部化准则不足以保证干预改善性能。为此提出单调干预目标，直接惩罚部分干预轨迹上的任务损失上升，与端点干预训练结合后可显著降低部分干预损害的发生率与幅度，同时保持概念与任务预测性能。
正文 · AI 翻译
摘要：部署在高风险环境中的 AI 系统越来越需要支持有意义的人类监督的模型。基于概念的模型（CM）提供了一个有前景的框架，使用户能够检查和干预中间的人类可理解概念。然而，概念干预可能反直觉地恶化下游预测，我们将这种失败模式形式化为干预伤害。我们区分了在所有概念都被干预后的伤害与部分干预下的伤害，后者是更可能的实际使用场景。现代 CM 通常通过在其中间概念表示中编码或泄漏额外的任务相关信息来实现高准确率。近期工作认为，当概念表示满足充分性和局部性两个条件时，这种泄漏在干预伤害方面可以是良性的。我们证明这些标准不足以保证概念干预能改善下游性能。在受控和真实世界环境中，我们发现概念监督不完整与干预伤害增加相关。重要的是，在所有概念都被干预时优化模型——一种先前提出的泄漏缓解目标——减少了端点伤害，但不能可靠地防止有害的部分修正。因此，我们引入一个互补的单调干预目标，直接惩罚沿部分干预轨迹的任务损失增加。结合端点与单调干预训练，可大幅降低部分干预伤害的发生率和幅度，同时保持概念和任务预测性能。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21750 [cs.LG] |
| （或 arXiv:2610.21750v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21750 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Christopher Banerji [查看电子邮件]
[v1]
2026年10月15日星期四 12:06:46 UTC（302 KB）
来源：arXiv cs.AI · arxiv.org