arXiv cs.AI· Aram Ebtekar, Marcus Hutter, Danica J. Sutherland·· 10 小时前AI 评分31
理解泛化需要通用归纳：NeurIPS 2026 立场论文提出相对化 Solomonoff 归纳
Understanding Generalization Requires Universal Induction
AI 导读
NeurIPS 2026 立场论文指出，经典统计理论无法解释通用 AI 模型的成功，因为 No Free Lunch 定理同样适用于元学习，任何有效预测都必须从数据之外的归纳偏置出发。
正文 · AI 翻译
摘要：经典统计理论不足以解释通用 AI 模型的成功，因为它依赖于无法被其自身证明合理的手工设计的归纳偏置。No Free Lunch（NFL）定理迫使任何在某些环境中优于随机猜测的学习器在其他环境中表现不佳。我们或许希望过去的经验能告知我们应当预期哪些环境，但 NFL 同样适用于元学习。因此，任何做出有意义预测的方法都必然始于数据之外的归纳偏置。选择偏向短程序会得到 Solomonoff 归纳（SI），其性能可与所有可计算学习器相竞争——尽管在比较利用背景信息的专门方法时，其中的“常数”会变得很大。因此，我们将 SI 相对于一个信息视角进行相对化，偏向于能够访问所有已有信息的短程序。这重新诠释了归纳偏置：我们不再寻求某种绝对的简单性概念，而是偏好相对于我们视角的可及性。一个算法只有在它的代码包含关于数据的额外信息时，才能超越相对化 SI 的预测，而没有算法能够生成这样的信息。虽然 SI 不可计算，因而并非实用算法，但它为无限计算极限下的推断提供了一个形式化最优解，并且有证据表明前沿 AI 系统大致近似于它。因此，元 NFL 的唯一已知答案植根于算法信息论，我们应当预期它在解释现代（及未来）AI 系统的泛化行为中发挥基础性作用。
| 评论： | 发表于 NeurIPS 2026 Position Paper Track |
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；信息论（cs.IT）；机器学习（cs.LG）；统计理论（math.ST） |
| MSC 分类： | 68Q32（主）62A01，68Q30（次） |
| ACM 分类： | I.2.6；E.4 |
| 引用为： | arXiv:2609.34458 [stat.ML] |
| （或 arXiv:2609.34458v2 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.34458 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Danica J. Sutherland [查看电子邮件]
[v1]
2026 年 9 月 28 日星期一 07:15:08 UTC（220 KB）
[v2]
2026 年 11 月 4 日星期三 05:08:15 UTC（235 KB）
来源：arXiv cs.AI · arxiv.org