多语言BabyLM动态采样框架ARMOR-DP提出

Hanyu Liao、Yijing Chen、Tao Ji 提出多语言 BabyLM 动态语言采样框架 ARMOR-DP，用逐语言验证损失更新采样比例，诊断表征、曝光、容量和目标压力造成的不平衡。 实验显示，等字符预算会给中文带来严重表征伪影，字节级编码可消除大部分，而静态中文保护随后可能让英语成为最弱语言。作者称，官方评测中课程动态 checkpoint 在更少中文 epoch 下优于匹配的静态中文保护基线，扩容则得到最强的内部 ARMOR-DP 系统。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。