arXiv cs.AI· Gabryel Mason-Williams, Israel Mason-Williams, Fredrik Dahlqvist·· 1 天前AI 评分31
无数据指标为何失效：RMT 层质量指标在保功能重参数化下可任意取值
Data-Free Metrics Don't Work: The Missing Invariance Under Functionally Preserving Reparameterisations
AI 导读
研究证明，基于随机矩阵理论（RMT）的无数据指标与模型性能、训练过程无关：利用临界性现象对鲁棒层重新初始化，可在不改变模型功能行为的前提下让这些指标取任意值，该结论覆盖多种架构与规模。RMT 指标之间的关系与泛化也只是虚假相关，预训练模型普遍落在指标"良好"区间部分取决于模型初始化。该工作入选 NeurIPS 2026 Negative Results Track。
正文 · AI 翻译
摘要：用于分析和理解神经网络各层的无数据方法提供了许多指标，用于量化“强”层与“弱”层的概念，并有望提升可解释性。特别是，随机矩阵理论（RMT）提供了无数据指标，这些指标声称能在逐层精度上对预训练模型的质量具有预测能力，并能识别模型病理，表明其与泛化存在独特关系。因此，RMT 的指标被推崇用于预训练优化策略和训练后压缩。我们通过证明对预训练模型进行功能保持的重新参数化可以产生任意指标，从而确立基于 RMT 的指标与性能或训练无关。我们在多种架构和规模上展示了这一点。为了创建功能保持的重新参数化，我们利用了已被充分确立的临界性现象：某些层可以被重新初始化或重新随机化而不影响模型的功能行为——它们被称为鲁棒层——而其他层则不能——它们被称为临界层。对鲁棒层进行重新初始化或重新随机化，提供了功能保持的重新参数化，而基于 RMT 的指标对此是任意的。此外，我们表明 RMT 提供的指标之间的关系与泛化是虚假相关的。最后我们表明，如果许多预训练模型具有处于“良好”范围内的无数据指标，这在一定程度上取决于模型初始化。项目页面见：此 https URL
| 评论： | NeurIPS 2026（负面结果赛道），44 页，21 幅图和 18 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.15621 [cs.LG] |
| （或 arXiv:2611.15621v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15621 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Israel Mason-Williams [查看电子邮件]
[v1]
2026 年 11 月 11 日星期三 15:38:30 UTC（2,069 KB）
来源：arXiv cs.AI · arxiv.org