arXiv cs.CL· Nikit Srivastava, Joel Dag, Ren\'e Speck, Axel-Cyrille Ngonga Ngomo·· 23 小时前AI 评分34
MoE-LoRA 方法用于多语言适配:一项系统性实证研究
MoE--LoRA Methods for Multilingual Adaptation: A Systematic Empirical Study
AI 导读
一项系统性实证研究在冻结基座模型上对比了 8 种 LoRA 方法,覆盖 200 种语言、146 次训练运行和超过 10,000 次评测。结果显示 LoRA 能稳定提升翻译数据的语言模型拟合度、持续降低阅读理解表现,且对低资源语言收益最大;小规模搜索可找到可行配置,但无法可靠预测其相对性能。研究据此认为 LoRA 应被视为有针对性的工具,而非提升 LLM 多语言能力的通用手段。
正文 · AI 翻译
摘要:路由低秩适配器提供了一种参数高效的方式,用以提升大语言模型(LLM)在各项任务上的表现。因此,人们假设它们也可用于改善 LLM 对低资源语言的支持——目前 LLM 对英语的支持远好于对全球数千种其他语言的支持。然而,这一假设从未在共享的多语言评估协议下得到实证验证。我们正是针对这一空白,在冻结的基座模型上比较了八种低秩适配(LoRA)方法,使用了跨 200 种不同语言、超过 10,000 次评估的 146 次训练运行。我们的结果表明,缩小规模的搜索可以识别出 LoRA 方法的可行配置,但无法可靠预测它们的相对性能,因为排名最高的配置在扩大规模后从未是最优的。LoRA 能可靠地提升语言模型在翻译数据上的拟合度,却持续降低阅读理解能力,并且对低资源语言收益最大。这些发现表明,LoRA 方法应被视为有针对性的工具,而非提升 LLM 多语言能力的通用手段。
| 评论: | 即将发表 - EACL 2027 (Findings) |
| 主题: | 计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2611.23158 [cs.CL] |
| (或 arXiv:2611.23158v2 [cs.CL] 为本版本) | |
| https://doi.org/10.48550/arXiv.2611.23158 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Nikit Srivastava [查看邮箱]
[v1]
2026年11月17日 星期二 18:11:42 UTC(86 KB)
[v2]
2026年11月18日 星期三 08:38:14 UTC(89 KB)
来源:arXiv cs.CL · arxiv.org