跳到正文
arXiv cs.CL· Nikit Srivastava, Joel Dag, Ren\'e Speck, Axel-Cyrille Ngonga Ngomo·· 23 小时前AI 评分34

MoE-LoRA 方法用于多语言适配:一项系统性实证研究

MoE--LoRA Methods for Multilingual Adaptation: A Systematic Empirical Study

AI 导读

一项系统性实证研究在冻结基座模型上对比了 8 种 LoRA 方法,覆盖 200 种语言、146 次训练运行和超过 10,000 次评测。结果显示 LoRA 能稳定提升翻译数据的语言模型拟合度、持续降低阅读理解表现,且对低资源语言收益最大;小规模搜索可找到可行配置,但无法可靠预测其相对性能。研究据此认为 LoRA 应被视为有针对性的工具,而非提升 LLM 多语言能力的通用手段。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:路由低秩适配器提供了一种参数高效的方式,用以提升大语言模型(LLM)在各项任务上的表现。因此,人们假设它们也可用于改善 LLM 对低资源语言的支持——目前 LLM 对英语的支持远好于对全球数千种其他语言的支持。然而,这一假设从未在共享的多语言评估协议下得到实证验证。我们正是针对这一空白,在冻结的基座模型上比较了八种低秩适配(LoRA)方法,使用了跨 200 种不同语言、超过 10,000 次评估的 146 次训练运行。我们的结果表明,缩小规模的搜索可以识别出 LoRA 方法的可行配置,但无法可靠预测它们的相对性能,因为排名最高的配置在扩大规模后从未是最优的。LoRA 能可靠地提升语言模型在翻译数据上的拟合度,却持续降低阅读理解能力,并且对低资源语言收益最大。这些发现表明,LoRA 方法应被视为有针对性的工具,而非提升 LLM 多语言能力的通用手段。
评论: 即将发表 - EACL 2027 (Findings)
主题: 计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2611.23158 [cs.CL]
  (或 arXiv:2611.23158v2 [cs.CL] 为本版本)
  https://doi.org/10.48550/arXiv.2611.23158

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Nikit Srivastava [查看邮箱]
[v1] 2026年11月17日 星期二 18:11:42 UTC(86 KB)
[v2] 2026年11月18日 星期三 08:38:14 UTC(89 KB)

来源:arXiv cs.CL · arxiv.org