arXiv cs.AI· Yingfeng Luo, Dingyang Lin, Junxin Wang, Kaiyan Chang, Ziqiang Xu, Weiqiao Shan, Yinqiao Li, Tong Zheng, Bei Li, Anxiang Ma, Tong Xiao, Zhengtao Yu, Jingbo Zhu·· 3 天前AI 评分24
TADrop：面向模型合并的分布引导张量级自适应稀疏化
One Size Does Not Fit All: Distribution-Guided Tensor-Wise Adaptive Sparsification for Model Merging
AI 导读
研究者提出即插即用稀疏化器 TADrop，依据各参数张量的幅度分布、用尺度不变的分数位比率独立确定保留比例，默认无需数据，也可在有小验证集时做轻量模块级校准。
正文 · AI 翻译
作者：Yingfeng Luo、Dingyang Lin、Junxin Wang、Kaiyan Chang、Ziqiang Xu、Weiqiao Shan、Yinqiao Li、Tong Zheng、Bei Li、Anxiang Ma、Tong Xiao、Zhengtao Yu、Jingbo Zhu
摘要：将多个任务特定的微调检查点合并为单个多任务模型，为联合多任务训练提供了一种有吸引力的替代方案。为缓解跨任务干扰，一种常见策略是在聚合前对任务向量进行稀疏化。然而，许多广泛使用的方法依赖于统一的全局稀疏率，忽视了不同任务和参数张量之间剪枝敏感性的差异。因此，这种统一稀疏化可能会从敏感张量中移除有用的参数更新，同时在其他张量中保留冗余更新。为解决这一局限，我们提出 TADrop，一种即插即用的稀疏化器，它使用尺度不变的分位数比率，根据张量的幅度分布独立确定其特定的保留比率。TADrop 默认以无数据方式运行，同时在有小规模验证集可用时提供可选的轻量级模块级校准。在视觉、语言和多模态基准（包括 LLM 和 LoRA 合并）上的实验表明，该方法在多种宿主合并方法上均能带来一致的提升，包括在 RoBERTa GLUE 上相比 EMR-Merging 获得 4.99 个百分点的提升。在多任务 ViT-B/16 合并中，提升随任务数量增加而增大，在合并 30 个任务时达到 2.26 个百分点。进一步分析表明，在总体稀疏率匹配的情况下，TADrop 保留了更多与任务相关的神经元。总之，这些发现凸显了在张量层面进行分布引导稀疏化对改进模型合并的价值。
| 评论： | 审稿中 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用格式： | arXiv:2508.06163 [cs.CL] |
| （或使用 arXiv:2508.06163v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2508.06163 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yingfeng Luo [查看邮箱]
[v1]
2025年8月8日星期五 09:33:08 UTC（241 KB）
[v2]
2026年10月13日星期二 13:52:57 UTC（424 KB）
来源：arXiv cs.AI · arxiv.org