arXiv cs.AI· Eric Elmoznino, Tejas Kasetty, Blaise Ag\"uera y Arcas, Yoshua Bengio, Guillaume Lajoie·· 2 天前AI 评分26
如何定义并生成组合结构：一项基于算法信息论的研究
Defining and Generating Compositional Structure
AI 导读
研究者用算法信息论形式化定义了组合结构：当各部分放在一起时揭示出单独建模时无法捕捉的共享结构，组合结构便由此涌现。该定义可跨尺度定位组合结构在对象中的出现位置，并借助可处理近似反推框架，在字符串和图像上直接优化生成具有层级复用与部分-整体组织的对象。研究还讨论了其对机器学习的启示，包括神经网络架构深度的新视角与构建组合数据课程的原则。
正文 · AI 翻译
摘要：组合结构在自然界中普遍存在，且跨越各个尺度：原子组合成分子，分子组合成细胞，细胞组合成生物体，而在每个层级内部还会出现进一步的组合层级。更广泛地说，组合性——即对部件进行复用和重组以形成新结构——是自然系统和人造系统中有趣复杂性的一个根本来源。然而，尽管它如此重要，也尽管我们显然很容易识别它，但能够刻画我们直觉上所说的组合结构的数学描述仍然有限。在这里，我们通过形式化一个简单的想法来填补这一空白：当各个部件被放在一起考虑时，会揭示出在单独建模这些部件时无法捕捉到的共享结构，此时组合结构便出现了。我们使用算法信息论——关于信息和压缩的数学——来表达这一想法，它提供了一种自然的方式，可以在不预先指定结构必须是什么样子的情况下，识别任意数据中的结构。将我们的定义应用于各个尺度，可以揭示组合结构在一个对象内部出现的位置和方式。利用可处理的近似方法，我们随后反转该框架以生成组合对象：我们指定其组合结构所期望的形式，而不规定其具体内容，并直接在字符串和图像上进行优化。由此得到的对象展现出易于识别的层级复用和部分—整体组织，这表明该定义捕捉到的是组合结构，而不仅仅是复杂性、规律性或共享信息。最后，我们讨论其对机器学习的启示，包括关于神经架构中深度的新视角，以及构建能够支持开放式学习的组合数据课程的原则。
| 主题： | 人工智能（cs.AI）；信息论（cs.IT）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20922 [cs.AI] |
| （或 arXiv:2610.20922v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20922 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Eric Elmoznino [查看电子邮件]
[v1]
2026年10月14日星期三 20:52:33 UTC（2,643 KB）
来源：arXiv cs.AI · arxiv.org