arXiv cs.AI· Luan Ozelim, Abicumaran Uthamacumaran, Hector Zenil·· 3 天前AI 评分22
语言模型能从 Solomonoff 归纳中学到什么？局限、可达性质与条件分布揭示的答案
What Can Language Models Inherit from Solomonoff Induction? Limits, Attainable Properties, and What Served Conditionals Reveal
AI 导读
一项基于算法信息论与通用预测理论的分析表明，任何可计算模型都无法在统一意义上逼近 Solomonoff 归纳：每个模型都有其永远学不会的廉价环境，且任何一致可计算的全预测器族都存在一个环境使其成员在随索引增长的视界之外失败。
正文 · AI 翻译
摘要：一条常见的推理路线如下：语言模型是在严格恰当损失下训练的灵活逼近器，因此规模使它们更接近 Solomonoff 归纳法，而它们的预测成功正是这一方法的证据。我们应用算法信息论、通用预测和贝叶斯一致性中的已知结果。在其一致形式下，该结论对任何可计算模型都不成立：每个模型都有其永远学不会的廉价环境，而每个一致可计算的全预测器族都共享一个环境，使得每个成员在其索引增长所对应的视野之外都会失败，因此“更接近”只能逐点成立，一次一个环境。所提供的路径甚至无法证明这一点：有限评估无法证明在极少到达的上下文上的一致性，完美的语料拟合会把语料规律选作先验，而渐近准则看不到承载 Solomonoff 保证的那些常数。我们的视角是为预测器解读的 Kraft 不等式。每个模型至多拥有相同的预测成功预算，因此 Solomonoff 预测器——它留下部分预算未花费——与语言模型的区别不在于拥有更多预算，而在于它把预算花在哪里；在相互奇异族上这是精确的，只有全质量贝叶斯混合才能到达前沿。然后我们讨论什么是可继承的，包括作为摊销贝叶斯推断的上下文学习；在上下文窗口内什么得以保留；一个部署系统应该具有或避免哪些类 Solomonoff 性质；以及所服务的条件分布决定了什么。结尾的表格说明了常见做法能证明什么以及应报告什么。测试在配套论文中展开。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；信息论（cs.IT） |
| 引用为： | arXiv:2610.14007 [cs.LG] |
| （或 arXiv:2610.14007v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14007 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Luan Carlos De Sena Monteiro Ozelim [查看电子邮件]
[v1]
2026年9月28日星期一 19:01:50 UTC（176 KB）
来源：arXiv cs.AI · arxiv.org