arXiv cs.CL· Hee Seung Hwang, Xindi Wu, Sanghyuk Chun, Olga Russakovsky, Zhiwei Deng·· 12 小时前AI 评分34
ReFINE：用下一序列预测强化快速权重架构的长上下文建模
Reinforced Fast Weights via Next-Sequence Prediction
AI 导读
研究者提出 ReFINE（Reinforced Fast weIghts via Next sEquence prediction），用序列级下一序列预测目标替代 NTP，通过预测熵筛选 token 位置、生成多 token rollout 并以 GRPO 优化。
正文 · AI 翻译
摘要：快速权重架构通过用循环更新的固定大小记忆替代 KV 缓存，为长上下文建模提供了一种有望替代标准 transformer 的方案。尽管存在这一架构转变，它们通常仍采用与标准 transformer 相同的下一 token 预测（NTP）目标进行训练。这造成了一种不匹配：快速权重模型依赖不断演化的记忆状态来支持未来预测，而 NTP 仅对紧邻的下一个 token 提供 token 级监督。我们通过下一序列预测（NSP）来解决这一不匹配，NSP 是 NTP 的序列级扩展，训练模型从其循环记忆状态生成连贯的多 token 续写。为优化这一序列级目标，我们提出 ReFINE（Reinforced Fast weIghts via Next sEquence prediction）。ReFINE 基于预测熵选择信息量大的 token 位置，生成多 token 展开，分配序列级奖励，并使用组相对策略优化（GRPO）优化模型。ReFINE 适用于预训练语言模型的整个训练生命周期：中期训练、后训练和测试时训练。在 LaCT-760M 和 DeltaNet-1.3B 上的实验表明，在针尖对麦芒检索、长上下文问答以及 LongBench 中的多样化任务上，ReFINE 始终优于基于 NTP 的监督微调。ReFINE 为改进快速权重架构中的长上下文建模提供了一个有效且通用的框架。
| 评论： | NeurIPS 2026（Spotlight） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.16704 [cs.CL] |
| （或 arXiv:2602.16704v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.16704 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hee Seung Hwang [查看电子邮件]
[v1]
2026 年 2 月 18 日周三 18:53:18 UTC（751 KB）
[v2]
2026 年 10 月 26 日周一 18:53:20 UTC（782 KB）
来源：arXiv cs.CL · arxiv.org