arXiv cs.AI· Kheer Sagar Patel, Mojtaba Soltanalian·· 13 小时前AI 评分34
论文提出“结构鸿沟”：更多数据无法替代结构化推理
The Structure Gap: When More Data Cannot Replace Structured Reasoning
AI 导读
论文提出“结构鸿沟”概念，指方法获得支配结构（求解器、对称群、图、物理定律等）与仅获得样本的学习器之间的有限资源差距。作者在高斯逆问题中证明，已知算子的 Wiener 求解器达到 Bayes 风险，而正确线性类中的稠密经验学习器存在持续的期望超额风险，并给出单元覆盖下界与不可观测轨道不可辨识结果。在已知算子反演、稀疏恢复和带规模外推的图可达性实验中，该机制得到验证。
正文 · AI 翻译
摘要：现代 AI 中一个长期存在的信念是，只要学习器足够大、训练数据足够多，显式的领域知识就可以成为可选项。本文考察这一信念的局限。我们定义了结构编码问题：其输入-输出映射由已知结构决定或受到严格约束的任务，这些结构例如求解器、对称群、图、物理定律、测量算子、文法、组合搜索空间或优化目标。对于此类任务，核心问题不是表达能力——稠密神经网络可能包含所需的映射——而是有限数据下的识别、外推与认证。我们引入结构差距：接收支配结构的方法与仅接收样本的学习器之间的有限资源差距。该论断最强且有用的形式是渐近的而非绝对的：结构无关学习可能随着覆盖度增长而逼近结构化求解器，但每个有限数据集都可能留下残余不确定性，而结构按构造即可消除这种不确定性。我们针对一个高斯逆问题精确证明了这一点：已知算子的 Wiener 求解器达到 Bayes 风险，而正确线性类中的稠密经验学习器具有持续的期望超额风险。我们还证明了单元覆盖下界和未观测轨道不可识别性结果。在已知算子反演、稀疏恢复以及带规模外推的图可达性方面的受控实验实例化了这些机制。当经过验证的结构可用时，它可以在学习开始之前约束假设空间，让学习去处理结构未指定的部分。
| 评论： | 13 页，6 幅图，2 张表。包含补充材料及可复现性代码/数据 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37523 [cs.LG] |
| （或 arXiv:2610.37523v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37523 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mojtaba Soltanalian [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 16:45:22 UTC（987 KB）
来源：arXiv cs.AI · arxiv.org