arXiv cs.CL· Yanggan Gu, Yuanyi Wang, Zhen Li, Shuo Cai, Yuhang Liu, Junzhuo Li, Zihao Wang, Hongxia Yang·· 9 天前AI 评分24
SMAT：简单高效的合并感知训练方法
SMAT: Simple and Efficient Merge-Aware Training
AI 导读
SMAT 将常见模型合并操作归纳为 Scale、Mask、Perturb 三种，通过采样缩放系数、掩码和加性噪声在模拟合并参数上联合优化专家损失与期望损失。在四种语言与视觉语言骨干模型上，SMAT 将五种合并方法的平均得分较最强基线提升 1.07-2.16 分，训练时间开销较标准微调不足 2%。该方法每步仅需一次前向和一次反向传播，并引入周期性调度、算子融合与参数存储切换来提升效率。
正文 · AI 翻译
摘要：模型合并无需联合重训练即可整合多个专家的能力，但标准的专家训练仅优化任务损失，无法保证合并后的良好性能。合并感知训练（MAT）旨在提升合并后的性能，但现有方法未充分考虑常见的合并操作，且增加了训练成本。我们观察到，从专家的角度来看，常见的合并方法可以用三种操作来描述：Scale 重新加权自身的更新，Mask 移除选定的坐标，Perturb 添加来自其他专家的更新。基于这一视角，我们提出了 SMAT（Simple MAT），它通过采样缩放系数、掩码和加性噪声，在模拟的合并参数上联合优化专家损失和期望损失。我们进一步引入周期性调度、内核融合和参数存储切换，使 SMAT 高效运行，每步仅需一次前向和一次反向传播。在四个语言和视觉-语言骨干网络上，SMAT 在五种合并方法上的平均得分相比每个骨干网络的最强基线提升了 1.07-2.16 分，而训练时间开销相比标准微调不到 2%。
| 评论： | 19 页，6 幅图，7 张表。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.33437 [cs.LG] |
| （或 arXiv:2609.33437v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.33437 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yanggan Gu [查看邮箱]
[v1]
2026 年 9 月 27 日星期日 10:44:16 UTC（458 KB）
[v2]
2026 年 10 月 8 日星期四 09:24:07 UTC（458 KB）
来源：arXiv cs.CL · arxiv.org