arXiv cs.AI· Ryan Singh, Miguel De Llanza, Christopher L. Buckley·· 13 小时前AI 评分31
学习轨迹中的表示复杂度：以宽度换精度与时间
Representation Complexity Along Learning Trajectories: Trading Width for Precision and Time
AI 导读
研究用 Kolmogorov n-width 量化有效表示复杂度，提出 oracle 学习模型，证明发现目标所需的初始有效宽度可远超学会后表示该目标所需的宽度。对 D 维 k-sparse parity，已知目标存在 O(k) 宽度表示，而通用下界已给出表示与发现之间的多项式分离；在忽略符号的测量分辨率下，临界尺度为 Õ_k(D^{k-1}τ²)。实验支持预测的维度依赖关系。
正文 · AI 翻译
摘要：过参数化在学习过程中扮演什么计算角色？信息平面分析表明，神经网络可以遍历比其最终预测器所需的表示复杂得多的表示。我们通过比较预测所需的表示复杂度与通过梯度反馈使未知目标在统计上可见所需的表示复杂度，来探究这种瞬态复杂度何时服务于计算目的。我们引入神经网络学习的 oracle 模型，并使用 Kolmogorov \(n\)-宽度来量化有效表示复杂度。我们的主要技术结果将复杂度界从前向表示转移到相应的梯度查询特征。结合统计查询下界，这给出了与任务无关的下界，即目标相关的梯度信息变得可检测所需的初始有效宽度。对于 \(D\) 维中的 \(k\)-稀疏奇偶性，已知目标允许 \(O(k)\)-宽度表示，而一般界已经意味着表示与发现之间的多项式分离。然后，我们利用奇偶性在逐坐标符号反射下的不变性来识别更尖锐的无符号有效宽度，这消除了奇偶性信息通道不可见的符号区别。在传输兼容的测量分辨率下，其临界尺度为 \(\widetilde{\Theta}_k\left( D^{k-1}\tau^2 \right)\)，直至对数因子。因此，发现预测器所需的表示资源可能大大超过一旦学习后表示它所需的资源。通过在新样本上的累积来解释精度，产生了相应的宽度-时间前沿。实验支持了预测的维度依赖性，并考察了优化和泛化如何偏离这一理想化前沿。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39027 [cs.LG] |
| （或 arXiv:2610.39027v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39027 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ryan Singh [查看电子邮件]
[v1]
2026年10月28日星期三 23:01:16 UTC（422 KB）
来源：arXiv cs.AI · arxiv.org