arXiv cs.AI· Albert Dorador·· 9 天前AI 评分24
一次排列就够了：快速、确定性的特征重要性与模型压力测试
One Permutation Is All You Need: Fast, Deterministic Feature Importance and Model Stress-Testing
AI 导读
研究提出用单个 max-min 秩最优确定性排列替代经典置换特征重要性中的 B 次随机打乱，消除估计方差并将复杂度从 O(B·n·p) 降至 O(n·p)。在位置-尺度特征分布下，该方法可精确恢复尺度调整后的线性回归系数。
正文 · AI 翻译
摘要：可靠地估计机器学习模型中的特征贡献对于透明度、算法公平性和监管合规至关重要。虽然排列特征重要性被广泛使用，但经典实现依赖于重复的蒙特卡洛洗牌，引入了显著的计算开销和随机不稳定性。在本文中，我们表明，用单个最大-最小秩最优确定性排列替换 $B$ 次随机排列，可以保持或提高与真实重要性的相关性，同时消除估计方差，并将复杂度从 $O(B \cdot n \cdot p)$ 降低到 $O(n \cdot p)$。在位置-尺度特征分布下，我们正式证明了尺度调整线性回归系数的精确恢复，以及在凹模型敏感性下改进的重要性估计。我们沿两个互补维度扩展了这一确定性框架。首先，系统性特征重要性（SFI）整合经验特征相关性，以通过代理变量量化间接特征依赖。其次，重要性方向通过测量协变量位移与输出变化之间的一致性，将标量重要性扩展为带符号的方向性表示。在近 200 个模拟场景中的广泛实证验证表明，在高维和低信噪比情况下具有更优的偏差-方差权衡。最后，两个真实世界信用风险案例研究展示了将 SFI 与重要性方向相结合，如何使从业者和监管者能够审计模型对受保护属性的隐藏依赖的幅度和净符号，为模型治理提供了一个有原则、透明且可扩展的框架。
| 学科： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2512.13892 [stat.ML] |
| （或 arXiv:2512.13892v3 [stat.ML] 为此版本） | |
| https://doi.org/10.48550/arXiv.2512.13892 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Albert Dorador-Chalar [查看电子邮件]
[v1]
2025年12月15日星期一 20:50:54 UTC（17,191 KB）
[v2]
2025年12月23日星期二 12:54:15 UTC（17,193 KB）
[v3]
2026年10月7日星期三 20:19:23 UTC（18,195 KB）
来源：arXiv cs.AI · arxiv.org