arXiv cs.CL· Mingzi Cao, Xi Wang, Nikolaos Aletras·· 9 天前AI 评分22
最优传输深度扩展 OT-DUS：用最优传输对齐神经元构建新层
Optimal Transport Depth Up-Scaling
AI 导读
针对深度扩展中复制或平均基座层导致神经元排列错位、损害性能的问题，研究者提出 OT-DUS，利用最优传输理论在相邻基座层间逐模块对齐并融合功能对应的神经元来构建新层。在持续预训练和有监督微调下，该方法在不同模型规模和模型族上于通用与专业领域均优于现有方法。分析还发现，在更高位置插入新层不仅性能更强，训练效率也更高。
正文 · AI 翻译
摘要：从零开始以更大规模预训练大型语言模型（LLM）能带来卓越的性能，但会产生相当高的训练成本。深度扩展通过向预训练 LLM 中插入新层，避免了从头训练，提供了一种高效的替代方案。然而，大多数现有方法通过复制或平均基础层来生成新层，这会使功能对应的神经元错位，导致神经元排列不匹配，从而损害性能。为解决这一问题，我们提出了最优传输深度扩展（OT-DUS），它利用最优传输（OT）理论，在相邻基础层中逐模块地对功能对应的神经元进行对齐与融合，以构建新层。在不同模型规模和模型系列上，OT-DUS 在持续预训练和有监督微调中，于通用领域和专门领域均取得了优于现有方法的整体性能。我们对插入策略的分析进一步发现，在更高位置插入新层不仅能带来更强的性能，还能提高训练效率。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2508.08011 [cs.CL] |
| （或 arXiv:2508.08011v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2508.08011 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Mingzi Cao [查看电子邮件]
[v1]
2025年8月11日星期一 14:15:33 UTC（336 KB）
[v2]
2026年10月7日星期三 23:52:52 UTC（342 KB）
来源：arXiv cs.CL · arxiv.org