arXiv cs.CL· Shuo Cai, Yanggan Gu, Yuhang Liu, Su Lu, Yuanyi Wang, Yang Yu, Zhen Li, Zhitian Hou, Guanghao Zhu, Ming Li, Hongxia Yang·· 12 小时前AI 评分34
FusionEval：面向大语言模型的模型融合基准测试
FusionEval: Benchmarking Model Fusion for Large Language Models
AI 导读
研究者提出 FusionEval 基准，用 Qwen3 和 Llama 基座独立训练的数学、代码、科学、指令遵循与工具使用专家池，统一评测有无额外训练的融合方法。该套件在八个公开基准上报告归一化平均与最差性能、运行时间和峰值 GPU 显存。实验显示免训练方法保留推理能力但在两种模型规模下都显著削弱工具使用，MOPD 能保留工具使用且能力更均衡，但需额外数据准备、推理与训练。
正文 · AI 翻译
作者：Shuo Cai、Yanggan Gu、Yuhang Liu、Su Lu、Yuanyi Wang、Yang Yu、Zhen Li、Zhitian Hou、Guanghao Zhu、Ming Li、Hongxia Yang
摘要：模型融合旨在将多个专家模型的能力整合到单一模型中。现有评估对长思维链推理和工具使用的覆盖有限，而较高的平均性能可能掩盖单个专家能力的显著损失。我们提出 FusionEval，这是一个提供受控专家池、整合有额外训练和无额外训练的融合方法，并提供统一评估套件的基准。专家池包含基于 Qwen3 和 Llama 基础模型独立训练的领域专家，覆盖数学、代码、科学、指令遵循和工具使用。该套件在可比的数据访问规则下，基于八个公开基准评估能力保留和计算成本，报告归一化平均性能与最差性能、运行时间和峰值 GPU 内存使用量。大量实验表明，无训练方法能保留推理性能，但在两种模型规模下都会显著降低工具使用能力。相比之下，MOPD 保留了工具使用能力，并实现了更均衡的能力分布，但需要额外的数据准备、推理和训练。以低计算成本同时保留推理、指令遵循和工具使用能力仍是一项挑战。我们希望 FusionEval 能支持未来关于高效模型融合的研究，以同时保留专家能力。我们的代码可在 此 https URL 获取。
| 注释： | 20 页，4 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.30162 [cs.CL] |
| （或 arXiv:2610.30162v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30162 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shuo Cai [查看电子邮件]
[v1]
2026年9月30日星期三 18:10:13 UTC（234 KB）
来源：arXiv cs.CL · arxiv.org