arXiv cs.AI· Yining Li, Dongchen Han, Jie Fu, Gao Huang·· 10 天前AI 评分22
DeltaTTT：面向非线性循环记忆的逐层优化方法
DeltaTTT: Layerwise Optimization for Nonlinear Recurrent Memory
AI 导读
针对非线性记忆在序列单次遍历中比线性记忆更难优化、导致串行 TTT 反而不如固定基座并行 TTT 的问题，研究者提出 DeltaTTT，将两层记忆网络的联合内循环优化改为逐层学习，每层分配局部预测目标并通过状态相关的 delta 规则更新，在保留非线性读出的同时支持分块并行计算。在 DeltaNet 和 LaCT 骨干上的实验显示，其语言建模与检索性能均优于各自的循环基线。
正文 · AI 翻译
摘要：顺序测试时训练通过连续更新来适配记忆网络，每次更新都基于网络先前状态计算内循环梯度。直观上，这种状态依赖性应使每次更新都能考虑记忆已学到的内容，并更好地纳入新信息。然而，我们发现这种预期优势在非线性记忆中并不总能实现：固定基线的并行 TTT 基线优于其串行对应版本。我们的探索性实验指向一个关键的潜在困难：在对序列的单次遍历中，非线性记忆比线性记忆更难优化。为缓解这一优化困难，我们提出了 DeltaTTT，它将两层记忆网络的联合内循环优化替换为逐层学习。每一层被分配一个局部预测目标，并通过状态相关的 delta 规则进行更新。该公式保留了非线性读出，同时支持分块并行计算。在 DeltaNet 和 LaCT 主干上的实验表明，与各自的循环基线相比，语言建模和检索性能均有所提升。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.08553 [cs.LG] |
| （或 arXiv:2610.08553v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08553 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yining Li [查看电子邮件]
[v1]
2026年10月6日星期二 15:40:06 UTC（393 KB）
来源：arXiv cs.AI · arxiv.org