跳到正文
arXiv cs.CL· Eleanor M. Lin, David Jurgens·· 10 小时前AI 评分31

研究提出 CoRe 与 EnCoRe 语料库及微调框架,教大模型更有效地进行语码转换推理

Think Multilingual, Not Harder: A Framework for Analyzing and Teaching Code-Switched Reasoning

AI 导读

研究者构建了首个从语言学与行为学出发的微调框架,用于识别并教大模型更有效地进行语码转换推理。他们先建立 CoRe 语料库,含 15 个模型、18 种语言、10 种文字体系的 7k 条推理轨迹,再扩展为 EnCoRe,用 40 个数据集在 3 个模型、7 种语言上评估六种干预、共 120 个微调条件。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:推理能力使大语言模型能够解决日益复杂的任务。有趣的是,尽管推理模型通常被训练为生成单语文本,但这些模型也被观察到会进行语码转换(即混合使用多种语言)。以往的工作要么将语码转换视为不良错误,要么试图通过修改输入提示或输出解码过程来控制语码转换,要么只关注语言、领域、任务和模型的狭窄子集。我们通过引入首个基于语言学和行为学动机的微调框架来填补这些空白,该框架用于识别大语言模型中有益的语码转换推理行为,并教会这些模型更有效地进行语码转换以用于推理。首先,我们创建了语码转换推理(CoRe)语料库,包含来自 15 个模型、18 种语言、10 种文字系统和多样推理领域的 7 千条推理轨迹,为可能有益的语码转换行为提供了洞见。然后,我们将 CoRe 扩展为扩展语码转换推理语料库(EnCoRe),其中包含 40 个精心整理的数据集,用于在三个模型和七种语言上训练和评估六种针对推理中语码转换的干预措施,共计 120 个微调条件。在来自语言/文化无关和语言/文化特定评估的 8 万多条推理轨迹中,英语主导的推理、语义准确的语码转换以及更均衡的语言混合与正确答案正相关,而密集切换则与错误答案相关。此外,我们能够通过不直接展示语码转换的微调任务来激发积极行为。我们的工作表明,小而精心整理的数据集可以改变推理模型进行语码转换的方式,使我们能够在许多缺乏大规模推理数据的语言中收获推理带来的益处。
评论: 47 页,13 幅图;修订版增加了结果和分析
主题: 计算与语言(cs.CL)
引用为: arXiv:2604.15490 [cs.CL]
  (或 arXiv:2604.15490v4 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2604.15490

arXiv 颁发的 DOI 通过 DataCite

提交历史

来自:Eleanor Lin [查看邮箱]
[v1] 2026 年 4 月 16 日星期四 19:44:21 UTC(242 KB)
[v2] 2026 年 9 月 28 日星期一 19:12:27 UTC(523 KB)
[v3] 2026 年 10 月 3 日星期六 01:47:30 UTC(523 KB)
[v4] 2026 年 11 月 19 日星期四 02:02:30 UTC(1,773 KB)

来源:arXiv cs.CL · arxiv.org