arXiv cs.AI· Yeseul Cho, Hanseul Cho, Chulhee Yun·· 12 小时前AI 评分26
Error-Subspace Calibration（ESCal）：面向多任务模型合并的误差子空间校准
Error-Subspace Calibration for Multi-Task Model Merging
AI 导读
研究者提出合并后校准框架 ESCal，从专家模型与合并模型的权重差异中识别低维误差子空间，在每个中间块边界用桥接模块将合并表示投影到下一块输入投影的误差子空间，再映射为当前块输出投影误差子空间中的加性修正。子空间基保持固定，校准只学习这些线性映射，参数效率高。在视觉与自然语言理解基准上，ESCal 用每任务少量校准集即可提升多种架构与合并方法的合并模型性能。
正文 · AI 翻译
摘要：模型合并将特定任务的专家模型合并为单一模型，而无需在其原始数据集上进行联合训练，但相对于各个专家模型往往会产生性能差距。合并后校准可以通过特定任务的表示对齐来缩小这一差距，但对齐目标本身并未指明应校正哪些特征方向。我们提出误差子空间校准（ESCal），这是一种合并后校准框架，它从专家模型与合并模型之间的权重差异中识别低维误差子空间。在每个中间块边界处，桥接模块将合并表示投影到下一块的输入投影误差子空间上，并将这些坐标映射为当前块输出投影误差子空间中的加性校正。子空间基保持固定，因此校准仅学习这些线性映射，从而形成一种参数高效的机制来进行特征校正。我们发现，ESCal 使合并模型在表示和预测上都更接近专家模型，表明其更忠实地恢复了特定任务的行为。在视觉和自然语言理解基准上的实验表明，ESCal 使用每个任务的小规模校准集，在多种架构和合并方法上提升了合并模型的性能。
| 评论： | 25 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.33483 [cs.LG] |
| （或 arXiv:2610.33483v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33483 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yeseul Cho [查看电子邮件]
[v1]
2026 年 10 月 24 日星期六 06:17:15 UTC（447 KB）
来源：arXiv cs.AI · arxiv.org