研究提出TVS分数追踪预训练知识习得

Chang Su等作者提出时间变异性分数（TVS），用条目负对数似然在不同年份网页快照模型间的变异系数衡量知识的时间不稳定性。 在6个基准、多个开源模型家族的6个模型上，高TVS条目在预训练后期提升更快：36个模型-基准设置中有34个在预训练结束时优于低TVS条目，平均领先7.3个百分点的随机归一化准确率，该模式在知识密集型任务上最稳健。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。