跳到正文
Hacker News· E-Reverance·· 15 小时前AI 评分38

MIT 与 Adobe 提出 Latent Lattice 语言模型:406M 参数困惑度降至 14.40

Latent Lattice Language Models

AI 导读

MIT 与 Adobe 研究者提出 Latent Lattice 语言模型(LLLM),在每层引入沿时间递归的横向潜在流,与纵向残差流并行,直接参与注意力、KV-cache 写入、MLP 计算与解码。

正文 · AI 翻译

Shivam Duggal1, Zongze Wu2, William T. Freeman1, Antonio Torralba1, Richard Zhang2, Eli Shechtman2

1MIT2Adobe

论文 代码 (即将发布)

摘要

语言模型通常通过更深的层或循环层以及潜在推理步骤来增加每个 token 的计算量, 而更丰富的残差连接则改善跨层的信息流动。 我们转而增加计算容量:即模型维持的活跃计算状态的数量。 我们引入了潜在格(Lattice of Latents),这是一组逐层的水平潜在流, 它们沿时间循环运行,与贯穿深度的垂直残差流并行。 与 hyper-connections、mHC 以及注意力或值残差类似,Lattice 增强了残差流,但它并非通过深度来增加或重路由残差通路, 而是提供了跨 token 持续存在的伴随计算状态。 与混合 Transformer–SSM 架构不同——后者的循环状态主要作为序列混合的内部记忆—— 这些潜在状态直接为垂直流的注意力、KV-cache 写入、MLP 计算和解码提供条件。 在 20B FineWeb-Edu token 上训练的 Transformer 上,一个 406M 参数的 Lattice 模型将验证困惑度从 15.41 降至 14.40 (相比参数匹配的 Transformer)。 这些增益可扩展到多种架构变体。 Lattice 可与先前的残差流增强方法组合:结合 hyper-connections 和输入残差, 它将验证困惑度从 15.41(基础 Transformer)和 14.22(具有相同增强的 Transformer)降至 13.61。 在 Gated DeltaNet、Mamba-2、Triadic GDN 和 GDN–Mamba-2 混合架构上,它在所有测试的原生状态大小下都改善了困惑度, 其中 Lattice-GDN 和 Lattice-Triadic-GDN 变体优于原生状态大 4 倍的纯基线。 这些结果将持久的逐层状态确定为扩展语言模型计算的一个互补维度。

潜在格

垂直残差流贯穿深度;水平潜在状态跨 token 持续存在。 在训练和推理之间切换,并比较模型。

输入注入消融

已暂停 · 点击播放

点击图形可暂停。输入注入可随时开启或关闭;动画将从同一点继续。

结果

主要结果的交互版本。将鼠标悬停在任意柱或点上查看详情。

20B token 预训练后的语言建模

LLLM (dmodel, dr) 具有垂直残差流宽度 dmodel 和水平潜在宽度 dr。

评估集

视图

Transformer LLLM(单次前向) LLLM + Jacobi 精化器(J3)

GFLOP/token:每个 token 的浮点运算量,不包括注意力分数(仅增加约 0.1 GFLOP/token)和嵌入查找。
J3 运行三次扫描;其顺序展开在推理时使用单次前向(点击 显示完整表格 查看结果)。

显示完整表格

扩展预训练 token 数:10B → 20B → 30B

随着训练推进的 FineWeb-Edu 验证困惑度。圆圈面积与参数量成正比。

两个 LLLM 都只使用 22 层,而 Transformer 40L 使用 40 层,因此在相同注意力宽度(1024)下,它们保持的 KV 缓存小 45%。

Lattice of Latents 与先前的残差流增强方法对比

400M 模型,20B FineWeb-Edu token。Lattice 模型将垂直宽度从 1024 收窄到 932 以保持等参数。 先出现 Transformer 及其单项增强,然后是 Lattice 及其单项增强,最后是双增强组合。

Transformer 变体 Lattice 变体(我们的)

HC:超连接;mHC:流形约束 HC;value:值残差(ResFormer;单 +value 运行使用学习权重,x0 + value 中固定为 0.5);x0:nanochat 风格输入残差。

解构 Lattice

一个严苛场景:垂直残差流被压缩到 256 维。 按播放键逐一添加水平更新增强,观察它们如何弥补与全宽 Transformer 的大部分差距。10B token 预训练。

+ 表示添加一个组件;↻ 表示替换一个组件。参数量显示在每个柱条下方。

循环骨干网络

纯模型与 Lattice 循环模型(约 405M 参数,10B FineWeb-Edu token)在各 mixer 的原生状态大小下的对比。每个 Lattice 模型与其纯模型对应版本等参数。 柱条按困惑度从高到低出现,各自位于其状态大小位置。

纯骨干网络 + Lattice(我们的)

原生状态大小统计每个 mixer 的循环记忆条目数(1K = 1024 个标量),不包括水平潜变量和卷积状态。Lattice 模型使用输入注入 + vstream。

来源:Hacker News · shivamduggal4.github.io