arXiv cs.CL· Chenyu Hui·· 11 小时前AI 评分34
通过主动回顾学习提升大语言模型长上下文理解能力
Towards robust long-context understanding of large language model via active recap learning
AI 导读
研究者提出主动回顾学习（ARL）框架，通过持续预训练中的定向序列构建和推理时的回顾式摘要，让模型重新访问并总结前文内容。ARL 在 RULER 上最高提升 129.7%，在 LongBench 上提升 11–13%。该方法基于损失差识别关键 token 并定位相关前序段落，使模型在推理时自主生成回顾摘要，形成跨段落的递归记忆机制。
正文 · AI 翻译
摘要：本文提出主动回顾学习（active recap learning，ARL），一个用于增强大语言模型（LLM）理解长上下文能力的框架。ARL 使模型能够在继续预训练期间通过定向序列构建来回顾并总结先前内容，并在推理时进行回溯式总结。首先，我们基于长前向上下文与短前向上下文之间的损失差，在准备好的长上下文中识别关键 token，并找到最相关的前置段落，然后使用 LLM 对其进行总结。其次，ARL 使模型具备在推理时自主生成并利用这些回溯式摘要的能力，从而在段落之间建立递归记忆机制。实验结果表明了显著提升，ARL 在 RULER 上最高提升 129.7\%，在 LongBench 上提升 11--13\%。总体而言，ARL 提供了一种简单而有效的基于继续预训练的方法来增强长上下文理解，推动了 LLM 中可扩展的记忆增强。代码可在 \href{此 https URL}{CODE} 获取
| 评论： | 6 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| MSC 分类： | 68T35 |
| ACM 分类： | F.2.2; I.2.7 |
| 引用为： | arXiv:2601.13734 [cs.CL] |
| （或 arXiv:2601.13734v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2601.13734 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chenyu Hui [查看邮箱]
[v1]
2026 年 1 月 20 日星期二 08:42:04 UTC（116 KB）
[v2]
2026 年 10 月 23 日星期五 11:17:08 UTC（977 KB）
来源：arXiv cs.CL · arxiv.org