arXiv cs.CL· Stephen Chung, Wenyu Du·· 12 小时前AI 评分38
低比特 N-Gram 嵌入为语言模型节省最高 75% 表内存
Low-Bit N-Gram Embeddings for Language Models
AI 导读
研究提出将 n-gram 嵌入表以低精度存储，在 nanochat、Llama 和 GPT-2 系列从零训练的模型上，4-bit 表节省约 75% 表内存，同时保留超过 99% 的验证损失改善。
正文 · AI 翻译
摘要：近期许多开放权重语言模型使用 n-gram 嵌入表来提升性能。这些表存储短 token 序列（例如连续 token 的二元组或三元组）的学习表示，模型在处理过程中会检索这些表示。然而，它们可能需要大量内存：例如，DeepSeek-V4.1-Flash 为其 Engram n-gram 记忆分配了 1960 亿参数。因此，我们研究是否可以在保留这些表所带来的性能提升的同时降低这一内存成本。我们提出以低精度存储 n-gram 嵌入，并系统研究了不同量化方法以及各表之间的比特分配。在从头训练的 nanochat、Llama 和 GPT-2 系列模型中，四位表节省了约 75% 的表内存，同时保留了添加这些表所带来的验证损失改善的 99% 以上。使用更少的比特会导致性能下降更大，不过我们发现短暂的微调阶段可以恢复其中很大一部分损失。此外，将节省的内存重新投入到更大的表中，可以在使用更少内存的同时，使性能超过原始全精度表。这些表内存节省也适用于大型现有模型：在 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 上，低位表节省了 47-55% 的表内存，困惑度增加不到 1.2%，下游任务性能基本得以保留。这些发现确立了低比特精度作为一种实用方法，可降低 n-gram 嵌入的内存需求，并利用节省的容量提升模型性能。
| 评论： | 24 页，10 幅图，10 张表 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| MSC 分类号： | 68T50, 68T07 |
| ACM 分类号： | I.2.7; I.2.6 |
| 引用为： | arXiv:2610.31646 [cs.CL] |
| （或 arXiv:2610.31646v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31646 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Stephen Chung [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 17:56:13 UTC（246 KB）
来源：arXiv cs.CL · arxiv.org