结构感知补偿让 Transformer 降规模更高效：Pythia 与 Qwen3 实验

查看 PDF HTML（实验性）

摘要：模型系列是按规模逐个训练的。那么，能否将预训练的大模型转换为更小的同系列模型？我们端到端地刻画了 Pythia 中 1.4B->410M 的转换过程。不同规模之间的表示高度对齐（ridge R^2=0.84）；参数则对齐较弱。稠密权重投影具有破坏性；一个位精确的对照实验将故障定位在基混合上，它破坏了旋转、逐头、GELU 和 LayerNorm 结构。在最佳拟合线性算子作用后的残差在打乱对照下不携带任何可学习或可迁移的信号，因此转换的价值在于初始化。匹配预算的持续预训练区分出两个独立的杠杆：最小二乘补偿（函数杠杆，零样本最佳）和保持方差的重缩放（动力学杠杆，端点最佳），并给出一条可从架构中读出的放置规则：当切割点与读取点之间不存在归一化时，补偿是适定的；以归一化开头的路径则采用重缩放。在 30M token 下，补偿在宽度缩减的一对上优于最佳子克隆变体（84.6+-2.1 对 90.7+-3.8，6/6 个种子），并在一个留出的深度缩减对上同样胜出（109.3 对 117.9，3/3 个种子）；两者在 33 倍预算时达到持平，而在约 5 倍供体规模时两个杠杆产生反协同。第二个系列 Qwen3-1.7B->0.6B（RMSNorm、SwiGLU、分组查询注意力）保持放置规则不变，但反转了一个 2x2 交叉，即重新拟合与其所读取的激活统计量之间的交叉：在 Pythia 上，重新拟合带来增益，而统计量增加 2.3 困惑度；在 Qwen3 上，由于 MLP 单元能量异质性远高，统计量带来 66 个点，而重新拟合在其之上为零效应。知情选择 + 补偿 + 重缩放在两个系列中都是最佳方案，在匹配预算下困惑度分别比从头训练低 19 倍和 23 倍（2.94 和 3.13 nats），并优于结构化剪枝加蒸馏。代码、检查点和冻结的评测语料已发布。

评论：	v5：第二个架构系列（Qwen3-1.7B-Base -> 0.6B-Base），其 2x2 选择统计量结果在不同系列间反转；头条配对在六个种子上；普通选择基线在 6.9B->1.4B 规模对上；CKA 校准；命题 1；与 GRAIL/SliceGPT 的定位对比；描述性方案名称；代码和检查点位于所链接的仓库。25 页，5 幅图，22 张表
主题：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2608.02829 [cs.LG]
	（或 arXiv:2608.02829v5 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2608.02829 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Ravi Satya Durga Prasad Yenugula [查看电子邮件]
[v1] 2026 年 8 月 3 日星期一 19:44:08 UTC（483 KB）
[v2] 2026 年 8 月 10 日星期一 18:36:24 UTC（484 KB）
[v3] 2026 年 8 月 16 日星期日 17:25:23 UTC（484 KB）
[v4] 2026 年 9 月 24 日星期四 04:16:56 UTC（486 KB）
[v5] 2026 年 10 月 27 日星期二 19:59:43 UTC（498 KB）