研究者提出PAVE净化任务向量缓解模型合并冲突

研究者提出一种名为PAVE的方法，在知识感知子空间中净化任务向量，以缓解模型合并中的冲突。 据论文介绍，PAVE从各任务采样训练样本输入对应微调模型，获取线性层前的协方差矩阵并做面向上下文的奇异值分解，将权重拆分为任务相关与冗余部分后剪除冗余，同时引入谱秩分配策略优化归一化激活剪枝误差。作者称该方法为即插即用方案，可适配多种基于任务向量的合并方法，实验覆盖多种合并方法、任务与模型架构。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。