arXiv cs.AI· Li Nanbo, Firas Laakom, Yilan Zhang, Piotr Pi\k{e}kos, Yimeng Chen, Liangyu Wang, Yifan Xu, Mateusz Ostaszewski, Dandan Guo, Wenyi Wang, Yanning Dai, Yuhui Wang, J\"{u}rgen Schmidhuber·· 3 天前AI 评分54
NoteBank：为线性注意力模型解锁长上下文能力
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
AI 导读
论文提出 NoteBank，一种免训练、即插即用的稀疏情景记忆机制，在未知未来查询前先归档选定文本，用骨干网络原生特征进行写入与寻址，并通过 replay 走原生前向计算读取检索到的证据，无需外部嵌入模型、单独训练的检索器或独立神经阅读器。
正文 · AI 翻译
作者：Li Nanbo、Firas Laakom、Yilan Zhang、Piotr Piękos、Yimeng Chen、Liangyu Wang、Yifan Xu、Mateusz Ostaszewski、Dandan Guo、Wenyi Wang、Yanning Dai、Yuhui Wang、Jürgen Schmidhuber
摘要：线性注意力有望为长上下文语言建模带来所需的效率，但其固定大小的循环状态必须同时支持持续进行的计算，并保留来自不断增长的历史信息。这种耦合强化了一种普遍观点，即状态的记忆容量决定了模型的长上下文能力。我们挑战这一假定的上限：\emph{循环计算不必承担长期存储的全部负担}。我们提出 NoteBank，一种稀疏情景记忆，它在未来查询已知之前归档选定的文本，使用主干网络的原生特征进行写入和寻址，并通过重放经由其原生前向计算读取检索到的证据。这种\emph{免训练、即插即用}的接口不需要外部嵌入模型、单独训练的检索器或单独的神经读取器。在一百万 token 时，它将 Gated DeltaNet 在六个 RULER 检索任务上的平均准确率从 1.7% 提升至 70.3%，且在 4K 到 1M token 范围内未观察到明显的检索性能下降。这一恢复仅增加 $\leqslant$0.025% 的分析 FLOPs，在匹配的宽度、深度和精度下，持久上下文存储约为 Transformer 完整 MHA KV 缓存的 1/2,600。实验从三个 1.3B 循环主干网络扩展到 Mamba-2-8B 和经后训练的 Qwen3.5-9B，在 LongBench v1/v2 和 MemoryAgentBench 上展示了增益。总之，这些结果表明，稀疏证据存储和原生重放可以大幅扩展预训练线性注意力模型的长上下文能力，同时保持循环计算的效率。
| 评论： | 参见我们在 此 https URL 中的项目 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.15715 [cs.AI] |
| （或 arXiv:2610.15715v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15715 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nanbo Li 博士 [查看电子邮件]
[v1]
2026年10月11日星期日 15:58:04 UTC（1,878 KB）
来源：arXiv cs.AI · arxiv.org