跳到正文
arXiv cs.CL· Stephen Chung, Wenyu Du·· 10 小时前AI 评分29

Chorus:共享 N-gram 嵌入表配合逐层适配

Chorus: Shared N-gram Embeddings with Layer-wise Adaptation

AI 导读

Chorus 提出一套共享 N-gram 嵌入表服务整个网络,每层通过自身投影层并按当前隐藏状态计算缩放因子来读取,以 1.2B 表参数取得优于 FactorEngram 和 DeepSeek Engram 9.6B 参数的文本预测效果,表体积缩小 87%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言模型可以从 n-gram 嵌入表中以极小的计算成本获得容量:这些表存储了针对连续 token 短序列学习到的大量向量,通过查找并将其加到模型输入或中间层上。近期的设计通常为每一层使用单独的 n-gram 嵌入表,这使得这些表在内存上开销很大,并且阻止了层与层之间共享所学到的内容。然而,单一共享表会给每一层相同的嵌入,没有为各层的偏好留出空间,并且在实际中表现不佳。我们提出 Chorus,其中一组 n-gram 嵌入表服务于整个网络,每一层以自己的方式读取它。每一层在根据其当前隐藏状态计算出的因子对其分量重新缩放后,通过自己的投影层映射精炼后的嵌入。Chorus 以小 87% 的表匹配现有 n-gram 方法的质量:在 1.2B 表参数下,它预测文本的效果优于 FactorEngram 和 DeepSeek 的 Engram 在 9.6B 下的表现。在我们比较的所有设置中,从 20M 到 9.6B 参数的表规模,它都优于 Engram、TN-gram 和 FactorEngram。我们还表明,最近提出的内存高效优化器 Ember 与 Chorus 配合良好,与 AdamW 相比节省了 99.2% 的表优化器内存,且不降低训练性能。这些结果通过减少内存使用并允许共享知识在各层之间重用,使得 n-gram 嵌入表能够在表规模轴上进一步扩展。
评论: 18 页。代码:此 https URL。属于自主研究计划的一部分:此 https URL
主题: 计算与语言 (cs.CL)
引用为: arXiv:2611.23386 [cs.CL]
  (或 arXiv:2611.23386v2 [cs.CL] 为此版本)
  https://doi.org/10.48550/arXiv.2611.23386

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Stephen Chung [查看邮箱]
[v1] 2026年11月17日星期二 19:00:05 UTC (181 KB)
[v2] 2026年11月19日星期四 12:49:23 UTC (181 KB)

来源:arXiv cs.CL · arxiv.org