arXiv cs.AI· Eeham Khan, Richard Khoury, Leila Kosseim·· 10 小时前AI 评分31
持续预训练何时有效?针对魁北克法语的方言适配受控研究
When Does Continual Pre-Training Help? A Controlled Study of Dialectal Adaptation for Qu\'ebec French
AI 导读
一项针对 9 个不同家族与规模 LLM 的受控研究显示,持续预训练(CPT)对魁北克法语适配的收益高度取决于基座模型对目标变体已有的能力。在每次实验 3000 万 token 的预算匹配协议下,CPT 有效时提升主要来自语料构成而非数据量,文学文本贡献了大部分增益。配对评测还表明 CPT 主要改善表达理解而非语法能力,并伴随聚合分数可能掩盖的阅读理解下降等能力权衡。
正文 · AI 翻译
摘要:持续预训练(CPT)被广泛用于使预训练语言模型适应方言和非标准语言变体,但尚不清楚这种额外训练何时必要、其收益由什么驱动,以及聚合评估分数是否能充分反映其效果。本文针对魁北克法语语言理解,对来自不同模型家族和规模的九个 LLM 开展了 CPT 的受控研究。采用每次实验 3000 万 token 的预算匹配协议,结果表明 CPT 的收益在很大程度上取决于起始模型在目标变体上已有的能力。当 CPT 有益时,改进更多由语料构成而非数据量驱动,其中文学文本贡献了大部分增益。配对的魁北克法语与标准法语评估进一步表明,CPT 主要提升表达理解而非语法能力,且语料语域决定了习得哪些地区性表达。这些增益还涉及能力层面的权衡,包括聚合分数可能掩盖的阅读理解下降。总体而言,这些发现表明,用于方言适应的 CPT 不应被视为普遍有益的默认做法。相反,适应策略应首先仔细评估基础模型的现有能力,并辅以来源层面的数据分析和任务层面的评估。
| 评论: | EACL 2027 主会议 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.24699 [cs.CL] |
| (或 arXiv:2611.24699v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24699 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Eeham Khan [查看邮箱]
[v1]
2026年11月18日 星期三 16:26:03 UTC(51 KB)
来源:arXiv cs.AI · arxiv.org