arXiv cs.AI· Aditya Nagarsekar, M P Ashish Bhat, Aadi Nesarkar, Vrishti Godhwani, Rahul Yedida, Aditya Challa, Danda Sravan, Snehanshu Saha·· 12 小时前AI 评分18
泛化信号未必是模型选择信号：Hessian 几何指标在分布外任务上的失效
A Generalisation Signal Need Not Be a Model-Selection Signal
AI 导读
研究测试了以 Hessian 范数为动机的前向代理指标及常见 Hessian 度量，在分子性质、蛋白质适应度和药物反应任务上能否用于模型选择。结果显示，验证 Spearman 相关性恶化时几何指标并未变得更有用，该代理虽在多数任务上与泛化差距相关，却无法可靠识别部署最优模型，低几何分数甚至可能偏向坍缩的预测器。
正文 · AI 翻译
摘要：计算生物学中的模型选择通常依赖来自训练分布范围的验证数据，即使部署场景位于该范围之外也是如此。当验证数据不再能保持哪个模型最优时，一种自然的替代方案是利用训练网络自身的属性对候选模型进行排序。我们使用一种受 Hessian 范数启发的新型前向代理指标，并结合常见的 Hessian 度量，在分子性质、蛋白质适应度和药物反应任务上检验了这一想法。与我们的假设相反，几何指标并未随着验证 Spearman 相关性的恶化而变得更有用：增强验证对某些分布偏移有帮助，但对另一些则显著有害。更令人意外的是，即使在 Hessian 迹和最大特征值关系微弱或相反的情况下，该代理指标在大多数任务上仍与泛化差距相关，但这一信号并不能可靠地识别出部署最优模型。曲率界未必能保持跨模型排序，而较低的几何分数甚至可能偏向坍缩的预测器。因此，泛化信号未必就是模型选择信号。
| 评论： | 被 NeurIPS 2026 研讨会“I Can't Believe It's Not Better: Failure Modes of AI in Biology”（ICBINB-BIO）接收（海报）。24 页，4 幅图，22 张表。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.39099 [cs.LG] |
| （或 arXiv:2609.39099v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.39099 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aditya Nagarsekar [查看邮箱]
[v1]
2026 年 9 月 30 日星期三 06:36:54 UTC（157 KB）
[v2]
2026 年 10 月 21 日星期三 15:43:21 UTC（197 KB）
来源：arXiv cs.AI · arxiv.org