arXiv cs.CL· Sajjad Pakdamansavoji, Mohammad Reza Rezaei, Ilija Subasic, Pedro Garzon, Radu Paradovschi, Zhao Chen·· 10 小时前AI 评分31
OLGA：面向持续语言模型训练的无标签在线梯度匹配方法
Online Label-Free Gradient Matching for Continual Language Model Training
AI 导读
研究者提出 OLGA，一种无标签梯度匹配方法，用模型自身的下一 token 预测生成梯度匹配目标，从而摆脱对真实标签的依赖。在 phi-1.5 上的五个文本分类基准中，仅用五个样本即比最强选择基线提升 10 个百分点准确率；在线数据流场景下比最强选择式持续学习基线高 6.6 个 stream-AUC 百分点。
正文 · AI 翻译
摘要：面向客户的产品中的语言模型必须不断更新，因为它们所服务的数据会随时间变化。由于在全部累积数据上重新训练并不现实，每次更新应改为在一小组样本上运行，这些样本承载了迄今所见全部数据的训练信号。目前最强的方法通过梯度匹配来构建这一集合，即合成训练梯度与全量数据相匹配的样本。然而，这些方法需要真实标签，只在固定快照上运行一次而非在持续增长的流上运行，并且在大数据上速度缓慢。我们提出 \textbf{OLGA}，它解除了这些限制。它通过从模型自身的下一词元预测中获取梯度匹配目标来蒸馏无标签数据。在 phi-1.5 上的五个文本分类基准中，它仅使用五个样本就将准确率比最强的选择基线提高了 10 个百分点。OLGA 还通过保留合成样本的运行排练记忆来蒸馏在线数据流，该记忆会随每批新数据的到来而一同重新蒸馏。在在线设置中，它比最强的基于选择的持续学习基线高出 6.6 个 stream-AUC 百分点。最后，我们的方法通过将蒸馏与选择配对成混合流水线来扩展到大数据，让选择处理温和的压缩阶段，蒸馏处理极端的压缩阶段。在相似准确率下，它比单独蒸馏减少了 30\% 的运行时间，并且比最佳仅选择流水线高出多达 12.6 个百分点。
| 评论： | 18 页，5 幅图，12 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2611.03496 [cs.AI] |
| （或本版本的 arXiv:2611.03496v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.03496 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sajjad Pakdamansavoji [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 17:37:36 UTC（416 KB）
来源：arXiv cs.CL · arxiv.org