arXiv cs.AI· Babak Barazandeh, Subhabrata Majumdar, Vinay Prithyani, George Michailidis·· 4 小时前AI 评分26
Localized LoRA-MoE:自适应路由的低秩专家混合框架
Localized LoRA-MoE: Mixture of Low-Rank Experts With Adaptive Routing
AI 导读
Localized LoRA-MoE 将局部空间分块与上下文条件专家路由结合,提出集中式 Block-Wise 与去中心化 Cell-Wise 两种架构。在 Qwen2.5-1.5B 上,两种路由变体在八个常识基准上均优于静态基线,Cell-Wise 在同等激活容量下比 LoRA 高 3.9 分。
正文 · AI 翻译
摘要:参数高效微调(PEFT)方法(如 LoRA)通过单次低秩更新来适配大模型。此类更新易受梯度干扰影响:当训练流交错多个操作上下文时,对共享适配器权重的冲突更新会使适配器退化为无专门化的平均值。尽管近期方法引入分块隔离来缓解该问题,但其拓扑结构是静态的,无法适应上下文切换或局部传感器退化。在本工作中,我们提出 Localized LoRA-MoE,一个将局部空间分块与上下文条件专家路由相结合的框架。我们提出并评估了两种架构变体:Block-Wise LoRA-MoE(集中式路由),通过单个上下文条件门控调制整个结构网格;以及 Cell-Wise LoRA-MoE(去中心化路由),为矩阵网格的每个坐标单元分配独立门控。在三个结构化变换基准上——高维 SVD 矩阵模拟、真实表格数据上的上下文切换变换,以及模拟传感器遮挡下的空间重建——两种变体在可比适配器预算下均优于静态基线。当上下文均匀地平移网格时,两种变体表现相似;而当上下文在空间上异质时,单元级路由严格更优。在六个交错的 GLUE 任务上微调语言模型时,固定适配器预算下的任务条件路由优于 LoRA 和静态局部适配器,以 6 倍预算匹配每任务适配器。在 Qwen2.5-1.5B 的解码器规模上,两种路由变体在八个常识基准上均优于静态基线,其中单元级路由在匹配活跃容量下比 LoRA 高出 +3.9 分。
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2607.05114 [cs.LG] |
| (或此版本的 arXiv:2607.05114v2 [cs.LG]) | |
| https://doi.org/10.48550/arXiv.2607.05114 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Babak Barazandeh [查看邮箱]
[v1]
2026年7月6日星期一 14:06:18 UTC(291 KB)
[v2]
2026年11月17日星期二 18:47:55 UTC(438 KB)
来源:arXiv cs.AI · arxiv.org