arXiv cs.CL· Yanggan Gu, Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Fei Wu, Hongxia Yang·· 9 天前AI 评分24
InfiFPO：通过偏好优化实现大语言模型隐式模型融合
InfiFPO: Implicit Model Fusion via Preference Optimization in Large Language Models
AI 导读
InfiFPO 是一种面向隐式模型融合的偏好优化方法，用序列级合成多源概率的融合源模型替换 DPO 中的参考模型，并引入概率裁剪与最大间隔融合策略。在 11 个基准上，以 Phi-4 为枢轴模型时平均性能从 79.95 提升至 83.33，数学、代码与推理任务提升明显。
正文 · AI 翻译
摘要：模型融合通过轻量级训练方法，将多个各有所长的大型语言模型（LLM）整合为一个更强大的集成模型。现有的模型融合工作主要聚焦于监督微调（SFT），而对偏好对齐（PA）——这一提升 LLM 性能的关键阶段——则基本未作探索。当前 PA 阶段为数不多的融合方法（如 WRPO）仅利用源模型的响应输出而丢弃其概率信息，从而简化了流程。为弥补这一局限，我们提出 InfiFPO，一种用于隐式模型融合的偏好优化方法。InfiFPO 将直接偏好优化（DPO）中的参考模型替换为一个融合源模型，该模型在序列层面综合多源概率，从而规避了以往工作中复杂的词表对齐难题，同时保留了概率信息。通过引入概率裁剪和最大间隔融合策略，InfiFPO 使枢轴模型在有效蒸馏源模型知识的同时，与人类偏好对齐。在 11 个广泛使用的基准上的大量实验表明，InfiFPO 持续优于现有的模型融合与偏好优化方法。当以 Phi-4 作为枢轴模型时，InfiFPO 将其在 11 个基准上的平均性能从 79.95 提升至 83.33，显著增强了其在数学、编程和推理任务上的能力。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2505.13878 [cs.LG] |
| （或使用 arXiv:2505.13878v4 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2505.13878 arXiv 颁发的 DOI，经由 DataCite |
|
| 期刊 参考： | NeurIPS 2025 |
提交历史
来自：Yanggan Gu [查看邮箱]
[v1]
2025年5月20日 星期二 03:32:37 UTC（263 KB）
[v2]
2025年10月22日 星期三 13:55:29 UTC（268 KB）
[v3]
2026年5月23日 星期六 08:09:30 UTC（263 KB）
[v4]
2026年10月8日 星期四 09:26:06 UTC（268 KB）
来源：arXiv cs.CL · arxiv.org