跳到正文
arXiv cs.CL· Ziyang Zhang, Yubin Jing, Yuyao Li, Haofan Wang, Yichen Gong·· 2 天前AI 评分38

Concertina:将语言模型折叠进自身,从教师权重直接构建学生模型

Folding Language Models into Themselves

AI 导读

研究者提出 Concertina,将教师模型每 N 个相邻层折叠为一个共享块并执行 N 次,配合低秩修正与逐 token 门控,直接从教师权重构建学生模型而非从头训练。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:知识蒸馏通常从头训练一个紧凑的学生模型,这需要大量数据,尽管教师的权重已经编码了学生需要学习的大部分内容。在这项工作中,我们探索直接从教师的权重构建学生模型。我们提出 Concertina,它将每 N 个相邻教师层折叠为一个共享块,该共享块执行 N 次。每个循环步骤携带一个从其替换层初始化的低秩修正,并且一个逐 token 门控混合这些修正,让每个 token 从单个共享块中恢复原始层的行为。我们进一步设计了一种蒸馏数据配方,平衡通用、数学、学术和定向多项选择数据,以共同恢复教师的所有能力,而不是以牺牲一种能力为代价换取另一种。在 Qwen3-4B 上,一个在 22B token 上蒸馏的 2.27B Concertina 模型在常识和数学推理上保留了教师约 90% 的能力,在八个基准上平均保留 84%。它优于同等规模的稠密和层共享基线,以及 Qwen3-1.7B,后者训练数据量超过一千倍。这些结果表明,紧凑模型无需大规模重新训练,因为将教师折叠到自身并在正确的数据上蒸馏可以恢复其大部分能力。代码可在 此 https URL 获取。
评论: 14 页,4 幅图,9 张表。代码:此 https URL
主题: 计算与语言(cs.CL)
引用为: arXiv:2611.18113 [cs.CL]
  (或 arXiv:2611.18113v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.18113

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ziyang Zhang [查看电子邮件]
[v1] 2026 年 11 月 13 日星期五 12:36:00 UTC(912 KB)

来源:arXiv cs.CL · arxiv.org