arXiv cs.AI· Jihwan Moon, Sheir A. Zaheer, Jinmyoung Lee, Gunhee Kim, Chan Y. Park·· 14 小时前AI 评分31
贪心局部学习用于语言模型预训练：差距与目标设计
Greedy Local Learning for Language Model Pretraining: Gaps and Objective Design
AI 导读
一项在 125M 和 400M 参数、K∈{1,2,4} 分块、Chinchilla 最优预算下进行的 token 预算匹配实证研究发现，局部学习与端到端训练的损失差距从 K=2 到 K=4 扩大一倍以上，但 K=4 时从 125M 到 400M 会缩小。
正文 · AI 翻译
摘要：贪心分块局部学习将网络拆分为梯度隔离的块，各块由局部辅助损失训练，从而删除块间的反向传播：阶段间通信变为仅前向，且每个块可独立推进其优化器，这些特性与去中心化模型并行训练直接相关。局部学习在图像分类上可与端到端反向传播相竞争，而在小型 Transformer 上已知其以更差的最佳损失换取并行加速。这一损失差距在更大规模的自回归语言模型（LM）预训练中表现如何，以及哪些辅助设计能缩小该差距，尚未得到测量。我们呈现一项在 125M 和 400M 参数、$K \in \{1,2,4\}$ 个块、Chinchilla 最优预算下、token 预算匹配的实证研究，将辅助设计分解为网络架构和训练目标。我们观察到：(i) 与端到端训练的差距从 $K=2$ 到 $K=4$ 增加一倍以上，但在 $K=4$ 时从 125M 到 400M 缩小；(ii) 将 MLP 辅助替换为基于 Transformer 的辅助是一种强有力的网络侧干预，可挽回 22-41% 的差距；(iii) 多 token 预测（MTP）辅助目标在第一个块边界处有帮助，而在更深边界处添加则有害，将其限制在第一个块可得到最佳的 $K=4$ 配置（400M 时 $+0.062$ 对 $+0.075$ nats）；以及 (iv) 部署式的逐块执行将激活内存最多减少 $2.2\times$。我们将这些结果定位为一个有实证依据的方法方向，而非最终确定的方法：局部目标应在各边界间选择性地施加未来预测压力，同时抵制绕过预测内容的捷径。
| 评论： | 已被 NeurIPS 2026 基础模型协作、开放与去中心化训练研讨会（CODEC-FM）接收。13 页，3 图，8 表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.04867 [cs.LG] |
| （或 arXiv:2610.04867v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.04867 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jihwan Moon [查看电子邮件]
[v1]
2026 年 10 月 4 日星期日 02:10:52 UTC（157 KB）
[v2]
2026 年 10 月 26 日星期一 05:00:35 UTC（156 KB）
来源：arXiv cs.AI · arxiv.org