arXiv cs.AI· Lingyi Long, Congyue Zhao, Xiaoou Li, Yanmin Qian, Tao Huang·· 3 天前AI 评分22
LinMorph：为高效 Video DiT 线性化学习权重变形
LinMorph: Learning to Morph Weights for Efficient Video DiT Linearization
AI 导读
LinMorph 将 Video DiT 线性化重构为可学习的 softmax-to-linear 权重变换问题，让每个目标 Gated DeltaNet（GDN）参数从预训练的 query、key、value 和 output 投影中联合抽取，而非复制预设对应权重。
正文 · AI 翻译
摘要：事后线性化是加速预训练视频扩散 Transformer（Video DiT）的一种有吸引力的方法，然而现有方法在很大程度上将注意力替换所导致的质量损失视为一个恢复问题。我们表明，更根本的瓶颈位于上游：\emph{初始化}。随机初始化丢弃了预训练知识，而手动权重复用则通过僵化且不完整的源—目标对应关系来传递知识。我们提出 \textbf{LinMorph}，它将 Video DiT 线性化重新表述为一个可学习的 softmax 到线性权重变换问题。LinMorph 不复制预定义的对应参数，而是学习一种跨参数态射，使每个目标 Gated DeltaNet（GDN）参数能够联合地从预训练的 query、key、value 和 output 投影中提取，包括那些没有直接 softmax 对应参数的参数。单个态射在各层之间共享，并通过局部教师对齐进行学习，同时根据各自预训练权重生成特定于层的初始化。随后，所得权重被具体化为独立的 GDN 模块，用于渐进式蒸馏和联合 this http URL，该态射在权重空间而非 token 空间中运作，因此可以在短时、低分辨率片段上学习，并直接复用于更大的视频尺度。在预训练的 Video DiT 上，LinMorph 相比随机初始化和启发式权重复用，能够显著更快地恢复并实现更好的最终生成质量。结果表明，高效线性化不仅取决于转换后的模型如何被恢复，还关键取决于在恢复之前预训练知识如何被传递。项目页面：this https URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17914 [cs.CV] |
| （或 arXiv:2610.17914v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17914 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tao Huang [查看电子邮件]
[v1]
2026年10月13日星期二 08:06:55 UTC（1,276 KB）
来源：arXiv cs.AI · arxiv.org