arXiv cs.CL· Xiaocong Yang, Yuren Hao, ChengXiang Zhai·· 3 天前AI 评分27
DAGFormer：用全局拓扑预测规划 Transformer 跨层连接
DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections
AI 导读
DAGFormer 是一种由联合训练的拓扑预测器规划跨层连接的 Transformer 语言模型，可一次性规划整个模型的路由，而非逐层单独设置。在 75M 至 1B 参数的 OLMo-2 配对实验中，它将 WikiText-2 困惑度较原版 Transformer 降低 17% 至 25%，1B 版本用 5B token 训练即优于用 10B token 训练的原版模型。
正文 · AI 翻译
摘要：我们提出 DAGFormer，一种 Transformer 语言模型，其跨层连接由联合训练的拓扑预测器规划。除了标准 Transformer 中的残差连接外，DAGFormer 还添加了从较早层到较后层的直接连接，预测器根据输入 token 控制每个连接的强度。与现有的跨层路由架构分别设置每一层的连接不同，DAGFormer 一次性规划整个模型的路由。在 75M 到 1B 参数的匹配 OLMo-2 对上，DAGFormer 将 WikiText-2 困惑度较原始 Transformer 降低 17% 到 25%，且在 5B token 上训练的 1B DAGFormer 优于在 10B 上训练的原始模型。在相同数据和预算下与四个路由基线相比，它在 75M、300M 和 1B 上达到最低困惑度。该增益延续到 13 个常识、科学、阅读和数学评估任务（在 300M 和 1B 上平均准确率高 2.0 到 2.5 分）以及指令微调（对原始 Transformer 的 AlpacaEval 胜率为 63% 到 70%，领先所有路由基线），并且在结构化剪枝下，DAGFormer 在六种设置中的五种里退化最少。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19625 [cs.CL] |
| （或 arXiv:2610.19625v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19625 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xiaocong Yang [查看电子邮件]
[v1]
2026年10月14日星期三 05:50:21 UTC（184 KB）
来源：arXiv cs.CL · arxiv.org