arXiv cs.AI· Hangyu Zhou, Constantine Dovrolis, Stephen Mussmann·· 11 小时前AI 评分34
受生物神经回路启发，LeWi 联合学习连接与权重提升样本效率
Learning Computational Structure for Sample-Efficient Prediction
AI 导读
研究者提出 Learned Wiring（LeWi）：每个神经元学习低维嵌入，仅邻近神经元相连，嵌入与权重联合训练，从而利用目标的组合稀疏结构提升样本效率。在 CSFRBench 及 32 个独立采样计算图生成的目标上，LeWi 是未获知目标图的方法中样本效率最高的，学习曲线面积均值比稠密网络低 27%。
正文 · AI 翻译
摘要：高维统计学习受制于维数灾难。幸运的是，许多实际关注的函数具有组合稀疏性，即它们可以表示为局部函数的组合，每个局部函数只依赖于少数变量，从而使样本复杂度取决于局部元数而非环境维度。然而，要实现这一优势，需要利用隐藏的组合结构，而现有理论并未针对实用的基于梯度的训练确立这一点。我们通过 CSFRBench 研究这一差距，这是一个受控基准，在训练期间隐藏目标的组合计算，但保留它用于诊断，并发现稠密网络和基于稀疏性的基线方法未能实现其中大部分优势。受生物神经回路空间组织的启发，我们引入了 Learned Wiring（LeWi）：每个神经元具有一个学习到的低维嵌入，只有邻近的神经元才连接，嵌入和权重联合训练。LeWi 在具有层次结构、中间复用或独立模块的目标上提高了样本效率。在由独立采样的计算图生成的另外 32 个目标上，LeWi 是未获得目标图的方法中样本效率最高的，其平均学习曲线面积比稠密网络低 27%。稠密网络在具有单个高元数函数的目标上表现更好。LeWi 的表示和连接性与目标计算相一致。在涵盖控制、导航和操作的 17 个世界模型预测任务上，LeWi 在 16 个任务上优于稠密基线，并在 119 次基线比较中胜出 99 次。这些结果表明，联合学习连接性和权重可以利用计算结构来提高样本效率。
| 评论： | 36 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28555 [cs.LG] |
| （或 arXiv:2610.28555v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28555 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hangyu Zhou [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 17:18:35 UTC（874 KB）
来源：arXiv cs.AI · arxiv.org