OLGA：无标签梯度匹配的持续语言模型训练

研究者 Sajjad Pakdamansavoji 等人提出 OLGA，一种面向持续语言模型训练的无标签梯度匹配方法：它用模型自身的下一 token 预测生成梯度匹配目标，不再依赖真实标签。 在 phi-1.5 上的五个文本分类基准中，仅用五个样本，OLGA 比最强选择基线提升 10 个百分点准确率；在线数据流场景下，它比最强选择式持续学习基线高 6.6 个 stream-AUC 百分点。上述结果来自作者在论文中的报告。

AI 根据报道生成 · 43 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。