AlignMerge：通过 Fisher 引导几何约束实现对齐保持的大语言模型合并

查看 PDF HTML（实验性）

摘要：合并大语言模型（LLM）是一种无需重新训练即可组合多个微调检查点能力的实用方法。然而，标准方案（线性权重汤、任务向量和 Fisher 加权平均）在保持损失的同时可能会悄然破坏对齐。我们认为，合并并非数值技巧，而是围绕已对齐锚点的几何约束操作：融合必须被引导以尊重安全几何，而非事后验证。
我们提出 AlignMerge，一个几何感知的合并框架，将对齐作为显式不变量。在指令微调基座周围的局部 Fisher 图中，我们用投影算子 P_A 估计对齐子空间并优化：
L_AlignMerge = L_geo + lambda_align * L_align + lambda_bud * L_bud，
其中 L_geo 使合并结果在 Fisher-Rao 几何中接近其专家，L_align 惩罚沿对齐敏感方向的移动，L_bud 强制软对齐预算。作为对齐泛函，我们使用解码不变的 Alignment Quality Index（AQI），一种潜在空间准则，捕捉对齐与未对齐行为在表示空间中分离的清晰程度。
在五个模型系列（LLaMA-3 8B、Mistral 7B、Qwen 2、Phi-3.5、Gemma 2）中，将安全锚点与任务专家合并，AlignMerge 在对齐指标（AQI、毒性、LLM 评判对齐）上有所提升，同时在指令遵循、推理和有用性上匹配或超过最佳专家。与 Fisher soups、TIES、SafeMerge 和 MergeAlign 相比，它还表现出更小的对齐子空间漂移和更少的预算违规。这些结果使保持对齐的合并成为首要设计目标，并为未来基础模型的几何感知组合指明了道路。

提交历史

来自：Vinija Jain [查看电子邮件]
[v1] 2025年12月18日星期四 06:55:17 UTC（9,890 KB）
[v2] 2026年10月10日星期六 20:27:16 UTC（9,891 KB）