研究者提出多任务模型合并的误差子空间校准方法

Yeseul Cho 等研究者提出名为 ESCal 的合并后校准框架，用于提升多任务模型合并后的性能。该框架从专家模型与合并模型的权重差异中识别低维误差子空间，在每个中间块边界用桥接模块将合并表示投影到下一块输入投影的误差子空间，再映射为当前块输出投影误差子空间中的加性修正。 研究者称，子空间基保持固定，校准只学习这些线性映射，因此参数效率较高。在视觉与自然语言理解基准上，ESCal 用每任务少量校准集即可提升多种架构与合并方法的合并模型性能。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。