随机Token替换在重复数据下的收益与代价

Wonsup Shin 与 Jingu Kim 提交论文，提出把验证损失分解为近似、估计与记忆三项的框架，并在熵率已知的受控数据源上证明随机 Token 替换会把预测拉向语料平均值。他们称，在替换有效的场景中，该方法可将记忆导致的损失上升削减约 60%；在韩日网页文本上，到固定预算结束时消除约三分之一的损失上升，但在最低点处效果小得多。 在十个真实语料中，替换在九个上降低最终损失，仅损害冗余度最高的 census JSON 语料。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。