arXiv cs.AI· Anna Mazhar, Sainyam Galhotra·· 9 天前AI 评分24
CAFÉ：机器遗忘的因果黑盒测试
CAF\'E: Causal Black-Box Testing of Machine Unlearning
AI 导读
研究者提出 CAFÉ，一种仅依赖已部署模型预测的黑盒测试方法，通过干预特征并将变化传播至下游特征，检测机器遗忘后仍残留的影响。在两个因果网络基准、四种遗忘方法上，CAFÉ 以 0.92–0.93 的成对准确率对残留影响排序，现有检查最高仅 0.71，且会双向误判。在真实人口普查数据上，CAFÉ 同样揭示了重训练后仍存在、却被直接输入检查忽略的影响。
正文 · AI 翻译
摘要：机器学习模型越来越多地作为软件组件部署，必须随着需求变化而演进。当特定的训练记录或特征不再被允许影响已部署的模型时，机器遗忘旨在移除这种影响，而无需从头重新训练。由于遗忘通常只是近似的，其有效性必须经过测试。此类测试往往必须将模型视为黑盒，无法访问其参数、训练历史或遗忘过程。特征带来了进一步的挑战：即使某个特征已从模型输入中移除，其影响仍可能通过下游特征持续存在。许多现有检查只考察该特征的直接使用，因此可能为一个仍然依赖它的模型出具合格证明。我们将遗忘测试构建为基于规范的测试，并提出 CAFÉ，它仅使用已部署模型的预测，对该特征进行干预，将变化传播到其下游特征，并检查预测是否仍有响应。CAFÉ 通过目标的直接和间接因果路径衡量其残余影响，其细粒度诊断可显示哪些通道和子群体仍在携带该影响。在两个因果网络基准上，使用四种遗忘方法，CAFÉ 对残余影响的排序达到 0.92--0.93 的成对准确率，而现有检查最多只有 0.71，且在两个方向上都会失败：它们为影响通过下游特征持续存在的模型出具合格证明，又会标记出已正确遗忘的模型。在真实人口普查数据上，CAFÉ 同样揭示了在重新训练后仍然存在、却被直接输入检查忽略的影响。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2509.16525 [cs.SE] |
| （或本版本使用 arXiv:2509.16525v2 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2509.16525 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Anna Mazhar [查看邮箱]
[v1]
2025年9月20日星期六 04:19:37 UTC（666 KB）
[v2]
2026年10月8日星期四 03:18:24 UTC（148 KB）
来源：arXiv cs.AI · arxiv.org