arXiv cs.CL· Yasuaki Sumita, Tomoharu Iwata, Toshiyuki Tanaka·· 11 小时前AI 评分31
通过对齐前后模型合并控制 LLM 的多样性-质量权衡
Controlling the Diversity-Quality Trade-Off of LLMs by Merging Models Before and After Alignment
AI 导读
研究者提出深度感知的 FrankenMerging 方法，无需额外训练即可控制对齐模型与其基座模型之间的多样性-质量权衡。该方法将对齐模型的低层与基座模型的高层合并，实验显示调整各模型取用的层数可同时调节多样性与质量，多数情况下合并模型的语义多样性高于对齐模型，部分切分位置下词法多样性也高于两个原始模型。多数设置下其多样性-质量权衡优于温度采样，反转合并顺序的消融实验也基本支持该假设。
正文 · AI 翻译
摘要：已知对齐会改变大语言模型（LLM）的输出特性。基础模型倾向于生成更多样化的输出，而对齐模型倾向于产生更高质量的输出。两者之间的适当平衡取决于任务。现有方法要么需要昂贵的微调，要么像温度采样那样主要提升词汇多样性而非语义多样性。我们提出一种深度感知的 FrankenMerging 方法，用于在对齐模型与其基础模型之间控制多样性—质量权衡，且无需额外训练。该方法将对齐模型的较低层与其基础模型的较高层相结合，其假设是词汇多样性与较低层关联更紧密，而语义多样性与较高层关联更紧密。实验表明，改变从每个模型取用的层数可同时调节多样性和质量。在大多数情况下，合并后的模型表现出比对齐模型更高的语义多样性，并且在某些切分位置上，其词汇多样性高于两个原始模型。在大多数设置下，它们还表现出比温度采样更好的多样性—质量权衡。一项支持性消融实验（我们反转了合并顺序）得到的结果与假设基本一致。
| 评论： | 13 页，5 幅图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22999 [cs.CL] |
| （或 arXiv:2610.22999v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22999 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yasuaki Sumita [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 06:24:10 UTC（448 KB）
来源：arXiv cs.CL · arxiv.org