研究:持续预训练适配魁北克法语效果取决于基座模型
热点事件持续更新
研究:持续预训练适配魁北克法语效果取决于基座模型
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
一项针对9个不同家族与规模的大语言模型(LLM)的受控研究显示,持续预训练(CPT)对魁北克法语适配的收益高度取决于基座模型对目标变体已有的能力。该研究由Eeham Khan、Richard Khoury、Leila Kosseim发表。 在每次实验3000万token的预算匹配协议下,CPT有效时提升主要来自语料构成而非数据量,文学文本贡献了大部分增益。配对评测还表明CPT主要改善表达理解而非语法能力,并伴随聚合分数可能掩盖的阅读理解下降等能力权衡。
AI 根据报道生成 · 52 分钟前更新
最新进展11月20日 13:00
持续预训练何时有效?针对魁北克法语的方言适配受控研究报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AI持续预训练何时有效?针对魁北克法语的方言适配受控研究
一项针对 9 个不同家族与规模 LLM 的受控研究显示,持续预训练(CPT)对魁北克法语适配的收益高度取决于基座模型对目标变体已有的能力。在每次实验 3000 万 token 的预算匹配协议下,CPT 有效时提升主要来自语料构成而非数据量,文学文本贡献了大部分增益。配对评测还表明 CPT 主要改善表达理解而非语法能力,并伴随聚合分数可能掩盖的阅读理解下降等能力权衡。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。