arXiv cs.CL· Aryan Das, Vinay Kumar Verma, Aakansha Mishra·· 10 小时前AI 评分31
Muon-RT：复用教师轨迹实现无动量 Muon 的 LLM 自蒸馏方法
MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
AI 导读
Muon-RT 通过复用教师与学生之间的位移来消除隐藏权重矩阵的动量缓冲区，从而降低持续训练内存。在 Qwen2.5-7B-Instruct 上用 SDFT 训练时，其平均准确率比 AdamW 高 2.6 分且持续内存少 42%，比带动量的 Muon 高 5.4 分且内存少 27%；在 Olmo-3-7B-Instruct 上用 SDPO 训练时比 AdamW 高 2.0 分。
正文 · AI 翻译
摘要：针对大型语言模型的自蒸馏方法若采用指数移动平均（EMA）教师模型，本身已保留了学生模型更新的历史。然而，Muon 仍会存储一个独立的动量缓冲区，从而增加持续训练内存。我们提出复用教师模型的 Muon（Muon-RT），它复用教师-学生位移，以消除隐藏权重矩阵的动量缓冲区。我们证明，该位移编码了已应用更新的指数加权历史，并在局部模型下平滑了时间上不相关的噪声。Muon-RT 去除其径向分量，对其进行谱归一化，并在 Newton-Schulz（NS）正交化后将其与当前梯度混合。在明确的正则性与对齐假设下，我们建立了期望目标差距界向残差误差水平线性收缩的结论。在 Qwen2.5-7B-Instruct 上使用自蒸馏微调（SDFT）时，Muon-RT 相比 AdamW 将平均准确率提升 2.6 个百分点，同时持续内存减少 42%；相比动量 Muon 提升 5.4 个百分点，同时持续内存减少 27%。在 Olmo-3-7B-Instruct 上使用自蒸馏策略优化（SDPO）时，相比 AdamW 将平均准确率提升 2.0 个百分点。
| 评论： | 审稿中 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.41104 [cs.LG] |
| （或 arXiv:2610.41104v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41104 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vinay Verma Kumar [查看电子邮件]
[v1]
2026年10月30日星期五 00:50:49 UTC（261 KB）
来源：arXiv cs.CL · arxiv.org