arXiv cs.AI· Shunta Asano, Jeonghun Baek, Toshihiko Yamasaki·· 4 小时前AI 评分22
超越双语迁移:指令微调中的多语言语码转换研究
Beyond Bilingual Transfer: Multilingual Code-Switching in Instruction Tuning
AI 导读
研究者在英语、日语、韩语、中文四种语言上开展多语言语码转换指令微调实验,发现简单的句子级多语言语码转换数据能让 Gemma-2-2B 在双语、三语和四语设置下的四语言平均准确率一致提升。团队在 Belebele 和 MMLU 上评估多语言理解能力,结果表明多语言语码转换的效果可超越双语迁移场景。
正文 · AI 翻译
摘要:近期研究表明,代码切换数据(CSD)——即在同一个上下文中混合使用多种语言——可以提升大语言模型(LLM)的跨语言迁移能力和多语言对齐效果。近期关于面向 LLM 的合成代码切换的研究主要集中于英语与某一目标语言之间的双语迁移,而在每个示例中同时混合三种或更多语言的指令微调设置仍基本未被探索。在本工作中,我们研究了涵盖四种语言的多语言代码切换指令微调:英语、日语、韩语和中文。我们在 Belebele 和 MMLU 上评估多语言理解能力。实验表明,简单的句子级多语言 CSD 在 Gemma-2-2B 的所有双语、三语和四语设置中均持续提升了四语言平均准确率,这表明多语言代码切换的有效性可以超越双语迁移设置。
| 评论: | AACL-IJCNLP 2026 Findings |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2605.29414 [cs.CL] |
| (或 arXiv:2605.29414v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.29414 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考: | Findings of the Association for Computational Linguistics: IJCNLP-AACL 2026 |
| 相关 DOI: | https://doi.org/10.18653/2026.findings-aacl.2
链接到相关资源的 DOI |
提交历史
来自:Shunta Asano [查看电子邮件]
[v1]
2026年5月28日星期四 06:03:52 UTC(4,294 KB)
[v2]
2026年11月17日星期二 11:28:15 UTC(4,297 KB)
来源:arXiv cs.AI · arxiv.org