arXiv cs.AI· Kevin L Coakley, Odd Erik Gundersen·· 13 小时前AI 评分34
深度学习性能分布实证研究：跨架构与任务的鲁棒性差异
Measuring Deep Learning Performance - An Empirical Study of Performance Distributions Across Architectures and Tasks
AI 导读
一项针对图像分类与时间序列预测架构的 186 组实验（每组 100 个随机种子、共 18,600 次运行）发现，深度学习模型性能呈分布而非单一值，且常为非高斯分布，时间序列预测尤为明显。
正文 · AI 翻译
摘要：背景：深度学习算法设计与实现中的非确定性会导致性能波动，这意味着模型性能并非单一数值，而是一个分布。尽管这些模型性能分布对鲁棒性有影响，但相关研究仍不充分。目标：我们研究深度学习性能对非确定性来源的鲁棒性，特别关注不同架构和任务之间性能分布的差异。方法：我们在图像分类和时间序列预测架构上进行了 186 项实验。每项实验使用不同的随机种子运行 100 次以生成性能分布，共计 18,600 次运行。鲁棒性通过离散度、对称性和尾部风险指标进行量化。结果：性能分布经常是非高斯的，尤其是在时间序列预测中。模型规模不会系统性地影响鲁棒性——较大的图像分类模型表现出更少的离群值，但离散度并未降低；而较小的时间序列模型表现出更低的离散度，但极端表现不佳者更多。训练时长并非线性扩展；早停有效平衡了性能与鲁棒性。平均性能不能预测鲁棒性——时间序列预测显示出中等相关性，而图像分类则没有相关性。时间序列模型产生的表现不佳离群值几乎是图像分类模型的近三倍，表明其尾部风险显著更高。结论：尾部风险对高风险应用中的可信 AI 构成严重担忧。平均表现良好的模型可能呈现长尾和极端离群值，这些只有通过分布分析才能揭示。不应仅以平均性能指导模型选择；在性能一致性至关重要的场景中，评估离散度、对称性和尾部风险对于可靠的模型评估至关重要。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38037 [cs.LG] |
| （或 arXiv:2610.38037v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38037 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Sci. Rep. 16, 20474 (2026) |
| 相关 DOI： | https://doi.org/10.1038/s41598-026-49656-z
链接到相关资源的 DOI |
提交历史
来自：Kevin Coakley [查看电子邮件]
[v1]
2026年10月27日星期二 22:47:10 UTC（720 KB）
来源：arXiv cs.AI · arxiv.org