跳到正文
arXiv cs.AI· Zeman Li, Ali Behrouz, Yuan Deng, Praneeth Kacham, Rami Al-Rfou, Meisam Razaviyayn, Vahab Mirrokni·· 10 小时前AI 评分42

Toaster:用级联线性记忆与目标传播构建非线性记忆

Toaster: Nonlinear Memory from Cascaded Linear Memories and Target Propagation

AI 导读

Toaster 通过将两个线性记忆级联并在中间加入激活函数,构建出两层非线性记忆,利用目标传播把输出误差投影回第二层记忆来为隐藏层赋值,使每层都能运行未修改的 delta-rule 内核。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:循环记忆让语言模型能够以固定大小的状态处理长序列。DeltaNet 和 KDA 等线性记忆存储一个矩阵,并对每个 token 执行一次 delta 规则更新。对这样一组步骤进行分块后,其乘积具有精确的 WY 形式,因此训练速度快。TTT-MLP 和 Titans 等深层记忆存储一个小型 MLP,它可以容纳任何矩阵都无法容纳的映射,但其更新没有 WY 形式。Toaster 基于一个已知事实将两者连接起来:线性层上的梯度步骤就是一次 delta 规则写入。它用两个线性记忆构建一个两层非线性记忆,并在两者之间加入激活函数。我们使用目标传播,通过第二个记忆将输出误差反向投影,从而为隐藏记忆提供其值。给定一个分块的跨层信号(每个分块近似一次),每一层随后都可以在未经修改的 delta 规则内核上运行。我们的默认配置在输出层上运行该内核,并每个分块更新一次隐藏层。在我们的消融实验中,在两层上都运行该内核会得到更好的模型。在匹配的主干网络和训练 token 预算下,Toaster 在 C4 和 PG19 上,在所有五个测试规模(0.2B-1.6B 非嵌入参数)下的损失都低于 KDA。其 C4 困惑度在每个规模上也与注意力基线持平或略有改善。在 1.2B 规模下,它也低于 Titans。在与全局注意力以 3:1 比例组成的混合模型中,Toaster 混合模型在测试的四个混合模型中困惑度最低,并且比注意力基线低 0.18(C4)和 0.44(PG19)。在最大规模下,Toaster 在 13 个任务上的平均三样本准确率为 51.84%,而 KDA 为 50.52%,Titans 为 50.04%。在长度外推方面,Toaster 的损失在最多 20K token(训练长度的 5 倍)时仍低于 KDA。在 145M 主干网络上,在与 Titans 记忆匹配的隐藏宽度下,Toaster 的训练步时间最多为 KDA 的 1.33 倍,并且在 32K 上下文下比测试的 Titans 配置快 2.8-5.5 倍。
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.23648 [cs.LG]
  (或 arXiv:2611.23648v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23648

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Zeman Li [查看电子邮件]
[v1] 2026年11月18日星期三 00:14:27 UTC(233 KB)

来源:arXiv cs.AI · arxiv.org