arXiv cs.CL· Hao Wu·· 12 小时前AI 评分36
Delta N-gram：向语言模型原生 N-gram 记忆的前向写入方法
Delta N-gram: Forward-Only Continual Writing into a Language Model's Native N-gram Memory
AI 导读
Delta N-gram 提出一种仅需前向传播的写入路径，预训练哈希 N-gram 表 T^0 保持不变，证据写入稀疏补丁 Δ，由 4.1M 参数写入器为每个（位置、哈希头）事件生成目标与门控，清除 Δ 即可恢复原模型。
正文 · AI 翻译
摘要：我们此前的分析发现，模型原生的哈希 N-gram 表是持续更新对基座干扰最小的位置，但其写入需要反向传播，并且会改变预训练表。我们提出 Delta N-gram，一条仅前向的写入路径，写入该表。预训练表 T^0 永不修改。证据被写入其寻址行上的稀疏补丁 \Delta：一个 4.1M 参数的写入器为每个（位置，哈希头）事件输出一个目标和一个门控，块平均 delta 规则使每一行保持为其旧值与门控目标的凸组合。写入器在原始文本上以预训练目标离线训练；使用时写入只需前向传播，清除 \Delta 即可恢复原始模型。一个训练用于回答问题的 0.6B 原型在第二次写入后保留 16/16 个事实；在线梯度写入保留 2--4/16。我们研究了两种写入器：一种普通写入器，仅用 T^0 模型编码证据；一种 delta 写入器，在编码时读取其当前记忆。在 Qwen3.8-Flash-Next 上，普通写入器的记忆是文档特定的：在 64 个留出新闻事件上，它相对空记忆将续写 NLL 降低 0.068 nats/token，相对另一文档的记忆降低 0.024；在 16 篇中间文章之后分别为 0.063 和 0.013。delta 写入器的记忆更具文档特定性，并在干扰下保留更多（70% 对 54%）。在我们此前七任务链上的 35,000 次写入中，两种写入器都保持稳定，delta 写入器漂移更小（第 2 层数学漂移 176% 对 188%）；后续准确率变化为 -0.26/-0.52pp（梯度更新为 -7.29pp），小 k_i 漂移为 17.9/17.5%（39.2%）。习得为负，一般输入漂移达到 32.8%（20.75%）：每个示例都会读取的格式行增长到其预训练范数的 4--12 倍。将八条此类行置零可消除数学输入上超过 98% 的第 2 层漂移，连同其 NLL 增益。
| 评论： | 33 页，3 幅图，9 张表，2 个算法。是 arXiv:2610.14921 的后续工作。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.31125 [cs.CL] |
| （或 arXiv:2610.31125v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31125 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hao Wu [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 11:42:49 UTC（457 KB）
来源：arXiv cs.CL · arxiv.org