Muon-RT：复用教师轨迹的无动量自蒸馏训练
热点事件持续更新
Muon-RT：复用教师轨迹的无动量自蒸馏训练
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Aryan Das 等人提出 Muon-RT 自蒸馏训练方法，通过复用教师与学生之间的位移来消除隐藏权重矩阵的动量缓冲区，从而降低持续训练的内存占用。 在 Qwen2.5-7B-Instruct 上用 SDFT 训练时，其平均准确率比 AdamW 高 2.6 分且持续内存少 42%，比带动量的 Muon 高 5.4 分且内存少 27%；在 Olmo-3-7B-Instruct 上用 SDPO 训练时比 AdamW 高 2.0 分。上述结果来自作者在 arXiv 论文中的报告。
AI 根据报道生成 · 54 分钟前更新
最新进展11月2日 13:00
Muon-RT：复用教师轨迹实现无动量 Muon 的 LLM 自蒸馏方法报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.CLMuon-RT：复用教师轨迹实现无动量 Muon 的 LLM 自蒸馏方法
Muon-RT 通过复用教师与学生之间的位移来消除隐藏权重矩阵的动量缓冲区，从而降低持续训练内存。在 Qwen2.5-7B-Instruct 上用 SDFT 训练时，其平均准确率比 AdamW 高 2.6 分且持续内存少 42%，比带动量的 Muon 高 5.4 分且内存少 27%；在 Olmo-3-7B-Instruct 上用 SDPO 训练时比 AdamW 高 2.0 分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。