arXiv cs.CL· Joseph Lee, Yidi Huang, Dokyoon Kim, Shu Yang, Li Shen·· 11 小时前AI 评分38
研究发现辅助视角是 LLM 预训练知识获取的关键
Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views
AI 导读
一项被 EMNLP 2026 Findings 接收的研究发现，辅助视角（概念性重述）是 LLM 预训练知识获取的关键因素。在固定 token 预算下，将部分 token 从改写句分配给辅助视角，即使对事实回忆也有提升；辅助视角的效果不取决于生成它的模型强弱，改写仅在较小 batch size 下有帮助。研究还从逐层偏置与压缩角度给出机制解释，并为合成数据增强提供具体方案。
正文 · AI 翻译
摘要：我们对大语言模型（LLM）在预训练期间如何获取知识的理解仍存在空白。我们发现，辅助视图——即概念性重述——是这一过程的关键。我们设计了受控实验来分离这一因素。首先，在 token 预算固定的情况下，将 token 从释义分配到辅助视图，即使对于事实回忆也能改善学习，我们使用原始文档中近乎逐字逐句的句子来测试这一点。其次，辅助视图的有效性并不取决于生成它们的模型的强度。第三，我们确认释义是有帮助的，但仅在较小的批量大小下如此。第四，我们识别出在存在先验知识缺口时有助于学习的知识类型。最后，我们通过逐层偏置和压缩来考察这些效应如何在机制上体现。总之，我们的发现表明，知识的辅助表示是预训练成功的关键因素，并解释了数据多样性为何重要。此外，我们的结果为合成数据增强提供了清晰的方案，并对 LLM 的自我改进具有启示意义。
| 评论： | 已被 EMNLP 2026 Findings 接收；更新了更精炼的写作、新图表、修正后的表格和绘图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.04180 [cs.CL] |
| （或 arXiv:2609.04180v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.04180 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Joseph Lee [查看电子邮件]
[v1]
2026年9月3日星期四 17:57:02 UTC（708 KB）
[v2]
2026年10月20日星期二 16:21:50 UTC（1,263 KB）
来源：arXiv cs.CL · arxiv.org