arXiv cs.AI· Harish Kant Pathak·· 9 天前AI 评分22
TRACE:衡量生产级 AI 系统可解释性债务的治理框架
TRACE: A Governance Framework for Measuring Explainability Debt in Production AI Systems
AI 导读
研究团队提出 TRACE 治理框架,用七项工具量化生产级 AI 系统的"可解释性债务",核心指标 EDS 衡量低于治理设定可解释性置信阈值的生产决策占比。
正文 · AI 翻译
摘要:部署在高风险领域中的生产级 AI 系统会累积一种现有监控框架无法检测到的治理责任:当监管机构、审计人员或受影响的个人要求问责时,系统逐渐丧失对单个决策进行解释的能力。我们提出 TRACE(透明度、风险、问责、合规与可解释性),一个包含七种工具的治理框架,用于衡量、跟踪和修复生产级 AI 系统中的可解释性债务。其基础工具——可解释性债务评分(EDS)——量化了在任意时间点低于治理所定义的可解释性置信阈值的生产决策比例。配套工具包括 DART(用于违规预测的债务累积速率跟踪器)、SHIV(用于日常治理的场景健康与完整性验证器)、FDE(用于因果归因的特征漂移评估器)、HVE(人工验证引擎)、AIDE(审计干预决策引擎)以及 ZERO(用于修复的零可解释性风险优化器)。通过对一个每日处理 50,000 笔金融交易、准确率达 98.46%、ROC-AUC 为 0.9990 的生产级欺诈检测系统进行为期十二个月的纵向案例研究,我们证明:审计当日 EDS 为 0.23 这一结果,可通过 DART 轨迹分析提前六个月在统计上预测出来(beta = 0.008/周,R-squared = 0.94,95% CI:[0.006, 0.010]),并且 78% 的可解释性债务集中在监管风险最高的决策类别中(金额超过 $10,000 的交易),这种风险不对称性在系统级指标中完全不可见。TRACE 为生产级 AI 部署中符合 EU AI Act 第 13 条要求提供了首个定量运营架构,确立了区别于解释生成的解释治理这一新子学科。
| 评论: | 28 页,4 幅图,4 张表。主题演讲发表于 ICIDS 2026(Manipal University Jaipur)和 IEEE Al-Khwarizmi 2026。IEEE 高级会员 #101994709。美国临时专利申请号 64/159,545(USPTO 确认号 #9430)涵盖 TRACE/EDS 框架的多个方面 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2610.10957 [cs.LG] |
| (或 arXiv:2610.10957v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.10957 arXiv 颁发的 DOI 经由 DataCite(待注册) |
提交历史
来自:Harish Pathak [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 22:19:36 UTC(515 KB)
来源:arXiv cs.AI · arxiv.org