arXiv cs.AI· Xianchao Guan, Zijun Xiong, Yifeng Wang, Yubo Cui, Yaowei Wang, Guo-Sen Xie, Xin Li, Zheng Zhang·· 1 天前AI 评分31
SWIFT：用小世界连接打破稀疏微调中的信息孤岛
Breaking Information Islands in Sparse Tuning via Small-World Connectivity
AI 导读
研究者提出稀疏微调框架 SWIFT，通过块对角稀疏更新做局部特征混合，再用固定的确定性散射置换跨特征组路由输出，且不增加可训练参数。理论分析表明，散射置换在等大小、结构稠密的方形块条件下可保证正的块级扩展，从而避免信息孤岛。在常识推理、自然语言生成和图像分类实验中，SWIFT 平均优于所评估的 PEFT 基线，并可匹配或超过全量微调。
正文 · AI 翻译
摘要：稀疏微调因其参数效率而被广泛用于适配大语言模型。然而，其有效性不仅取决于可训练参数的数量，还取决于稀疏更新的结构支撑所具有的特征交互拓扑。该支撑中有限或不均匀的连通性可能隔离部分特征维度子集，形成信息孤岛，从而通过可训练更新限制直接的特定任务交互。为解决这一问题，我们提出小世界诱导微调（SWIFT），这是一个受小世界连通性启发的稀疏微调框架。SWIFT 将对角块稀疏更新用于局部特征混合，并结合一个固定的确定性散射置换，在不增加可训练参数的情况下将混合输出路由到各特征组。我们进一步从理论上证明，某些随机稀疏更新模型和对角块更新可能出现信息孤岛，而当可训练的对角块因子由大小相等、结构稠密的方阵块组成时，足够散射的置换可保证正的块级扩展。在常识推理、自然语言生成和图像分类上的大量实验表明，SWIFT 平均优于所评估的参数高效微调（PEFT）基线，并可匹配或超越全量微调。实现代码见 此 https URL
| 评论： | 已被 NeurIPS 2026 接收。23 页，6 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用格式： | arXiv:2610.41665 [cs.AI] |
| （或本版本的 arXiv:2610.41665v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.41665 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Xianchao Guan [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 12:35:08 UTC（453 KB）
来源：arXiv cs.AI · arxiv.org