arXiv cs.CL· Fei Zuo, Yizhou Huang, Kezhi Wang·· 14 小时前AI 评分31
机制可解释性视角下的 LoRA：通过路径修补实现自适应微调的层稀疏性
Mechanistic Insights into LoRA: Layer Sparsity for Adaptive Fine-Tuning via Path Patching
AI 导读
研究通过机制可解释性分析发现，LoRA 的适配效果在组件和层上高度稀疏，且重要层高度依赖具体任务、跨任务重叠有限。据此提出的 Adaptive-LoRA 通过冻结基座零消融自动识别任务特定层，在 Qwen2.5-1.5B 的 11 个推理任务上仅用 30% 的层即超越全层 LoRA，适配器参数减少 3.5 倍。
正文 · AI 翻译
摘要：低秩适配（LoRA）已成为大语言模型参数高效微调的主流范式。标准的全层 LoRA 在整个 transformer 中应用适配，尽管其各组成部分的贡献并不相同。在本工作中，我们进行了系统的机制可解释性分析，以理解 LoRA 如何影响模型内部。我们观察到 LoRA 的适配效果高度不均匀，在组件层面和层层面均存在显著的稀疏性。最关键的是，我们发现重要层高度依赖任务，跨任务的重叠有限。受这些洞见启发，我们提出了 Adaptive-LoRA，一种由校准驱动的方法，通过冻结基座的零消融自动识别任务特定层，从而无需穷举搜索即可实现高效的层选择。在 Qwen2.5-1.5B 上跨 11 个多样化推理任务的大量实验表明，Adaptive-LoRA 仅使用 30% 的层就优于全层 LoRA，实现了适配器参数 $3.5\times$ 的减少。本工作连接了机制可解释性与实际效率，既提供了基础性洞见，也为自适应微调提供了一种有原则的方法。
| 评论： | 已被 NeurIPS 2026（主赛道）接收。31 页，包括附录和论文检查清单 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34756 [cs.LG] |
| （或 arXiv:2610.34756v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34756 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fei Zuo [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 02:58:22 UTC（273 KB）
来源：arXiv cs.CL · arxiv.org