arXiv cs.CL· Yudong Zhang, Wei Ding, Kaili Zheng, Yuchen Ding, Zhenyu Zhang·· 11 小时前AI 评分31
Accordion：基于固定前缀层循环的弹性深度推理模型
Accordion: Elastic-Depth Inference via Fixed-Prefix Layer Looping
AI 导读
Accordion 是一个基于混合专家（MoE）的模型，通过固定前缀层循环支持五种推理预算，最低预算保留未循环模型。经过 3.6T token 预训练后，增加推理深度使 Accordion-6B-A0.5B 在 37 项任务上的五类宏平均提升 3.01 个百分点，中间预算以一半的额外层执行量获得 89% 的增益。最终模型在各领域任务上超过对应领域专家，并在所有预算下保持较强的指令遵循能力。
正文 · AI 翻译
摘要：大型语言模型服务于具有不同推理预算的应用，但为每个预算训练和维护单独的模型会带来巨大成本。近期的循环 Transformer 通过参数复用实现了灵活的推理计算，但在不同推理预算下保持强劲性能仍是一个未解决的挑战。我们提出 Accordion，一种基于混合专家（MoE）的模型，通过固定前缀层循环支持五种推理预算。每个预算遵循预定义的执行路径，而最小预算保留未循环的模型。联合预训练为每个微批次采样一个预算，并优化其下一词预测损失，无需额外的跨预算一致性目标。我们进一步通过监督微调和强化学习保留这些推理预算，其中参数组合并和预算匹配的多教师同策略蒸馏将三个领域专家整合到一个模型中。经过 3.6T 个 token 的预训练后，增加推理深度使 Accordion-6B-A0.5B 在 37 个任务上的五类宏平均提升了 3.01 个百分点，其中中间预算以一半的额外层执行次数获得了这一增益的 89%。最终模型在相应的任务与预算平均值上超越了每个领域专家，同时在所有预算下实现了强大的指令遵循性能，并在数学推理和代码生成中保持了依赖深度的增益。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32492 [cs.LG] |
| （或 arXiv:2610.32492v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.32492 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yudong Zhang [查看邮箱]
[v1]
2026年10月23日星期五 11:07:45 UTC（1,172 KB）
来源：arXiv cs.CL · arxiv.org