跳到正文
arXiv cs.CL· Hai Huang, Bartosz \.Zuk, Rassul Magauin, Jiaxin Huang, Xue Liu·· 23 小时前AI 评分31

结构-残差归纳偏置如何改进语言模型预训练

Structure--Residual Inductive Biases for Language Model Pretraining

AI 导读

研究提出结构-残差原则,让表示显式分离结构与实现细节,并以 Boundary Bottleneck Concept(BBC)和 Continuous Concept(CC)两种方式实现。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:下一词元预测被用于学习预测行为和内部表示。我们探讨表示结构本身是否应成为一种显式的归纳偏置。受 Kolmogorov 复杂度的两部分编码视角启发,我们研究一种结构—残差原则,其中表示将结构与实现细节分离。我们以两种互补方式实例化这一原则。边界瓶颈概念(BBC)通过边界载体路由来自词元片段的信息,同时保留局部自回归计算。连续概念(CC)对表示几何进行正则化,并诱导出分解为低频结构和高频残差的谱分解。我们为两种视角推导了编码界,并证明当片段内路径能量趋于零时,多重性校正的边界注意力变得精确。在实证上,BBC 和 CC 表现出显著不同的深度偏好:BBC 在早期层效果最佳,而 CC 在后期层最有效。在 300M 训练词元下,结合 BBC 和 CC 在 GPT-2 Medium 上将 NLL 改善了 1.44\%。这些增益在长达 20B 词元的训练运行中持续存在。表示诊断显示,BBC 增加了边界状态的相对预测重要性,而 CC 降低了谱残差能量。总之,这些结果表明结构—残差偏置可以在下一词元预测之外改进语言模型预训练。代码:此 https URL
学科: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.23197 [cs.CL]
  (或 arXiv:2611.23197v1 [cs.CL] 为此版本)
  https://doi.org/10.48550/arXiv.2611.23197

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Hai Huang [查看电子邮件]
[v1] 2026年11月17日星期二 18:38:27 UTC(265 KB)

来源:arXiv cs.CL · arxiv.org