arXiv cs.AI· Shuoran Jiang, Wentao Zhu, Yang Xiang, Dongfeng Li, Yunan Zhang, Mengchen Zhao, Yuhui Guo, Kai Chen, Youcheng Pan, Xiangping Wu, Qingcai Chen·· 2 天前AI 评分26
面向大语言模型高效持续学习的功能子网络定位
Functional Subnetwork Localization for Efficient Continual Learning in Large Language Models
AI 导读
研究者提出 CiMEO 持续学习框架，通过梯度归因定位 LLM 中互重叠极低的功能子网络，将每个训练样本路由到对应子网络，仅更新选定区域的参数与优化器状态。在 140 万条序列指令上，CiMEO 在编程、考试类任务和数学推理五个生成式基准上取得对比方法中最高的平均性能，并缓解灾难性遗忘。子空间重叠与主角度分析表明，局部化更新有助于保留预训练表示。
正文 · AI 翻译
作者：Shuoran Jiang、Wentao Zhu、Yang Xiang、Dongfeng Li、Yunan Zhang、Mengchen Zhao、Yuhui Guo、Kai Chen、Youcheng Pan、Xiangping Wu、Qingcai Chen
摘要：生物智能通过局部可塑性不断适应新信息，同时保留已有技能。相比之下，大语言模型（LLM）中的持续学习仍然容易发生灾难性遗忘。一个有前景的方向是识别 LLM 中功能特化的子网络，从而实现有针对性且资源高效的适应。利用梯度归因分析，我们定位到相互重叠极低的认知相关功能子网络。基于这一发现，我们提出功能隔离内存高效优化（CiMEO），这是一个持续学习框架，将每个训练样本路由到其对应的功能子网络，把参数更新和优化器状态限制在选定区域内。在 140 万条顺序指令上，CiMEO 在涵盖编程、考试类任务和数学推理的五个生成基准上取得了所比较方法中最高的平均性能，同时缓解了灾难性遗忘。子空间重叠和主角度分析进一步表明，局部化更新有助于保留预训练表示，凸显了功能子网络定位作为 LLM 中高效且稳定持续学习的一种实用方法。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21537 [cs.AI] |
| （或 arXiv:2610.21537v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21537 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shuoran Jiang [查看邮箱]
[v1]
2026年10月15日星期四 09:03:08 UTC（6,954 KB）
来源：arXiv cs.AI · arxiv.org