arXiv cs.CL· Ian Magnusson, Noah A. Smith, Pang Wei Koh·· 3 天前AI 评分31
COUNT：用 n-gram 计数在主机内存上扩展并实现免训练适配
The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation
AI 导读
研究者提出 COUNT（Counting Offline Unlocks N-gram Transformers），通过把预计算的 n-gram 计数存在主机内存、不新增可学习参数来构建 n-gram 嵌入。
正文 · AI 翻译
摘要：语言模型（LM）中计算量与性能的缩放关系已被广泛研究；最近，模型在设计时也开始考虑内存使用的缩放。特别是，为 n-gram 添加嵌入可以将内存与计算使用分开缩放，因为每次传递只处理单个嵌入行，而这些行远小于整个嵌入表所占用的存储。然而，现有方法从头训练嵌入，这需要昂贵的 GPU 内存来进行快速读写。与此同时，宿主系统的普通内存成本低廉，且在这些训练方法中未被充分利用。为了在宿主内存上实现缩放，我们引入了 COUNT（Counting Offline Unlocks N-gram Transformers），它通过在宿主上存储预计算的 n-gram 计数来构建 n-gram 嵌入，而无需添加可学习参数。我们使用语料频率来加权组合 LM 自身对当前 n-gram 历史之后最常出现的下一 token 的 unembedding。在固定计算预算下，COUNT 可以作为额外的输入嵌入添加到 10 亿参数 LM 的预训练中，使验证损失改善的程度相当于计算量多 57% 的 LM。如果 GPU 内存有限，使用 COUNT 让主干参数填满 GPU 内存，比将内存分配给额外的可学习 n-gram 嵌入能获得更好的性能。除了效率之外，COUNT 还允许在推理时切换到来自特定领域语料库的不同 n-gram 计数表，从而在无需任何训练的情况下适应新任务。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20456 [cs.CL] |
| （或 arXiv:2610.20456v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20456 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ian Magnusson [查看电子邮件]
[v1]
2026年10月14日星期三 16:38:19 UTC（5,377 KB）
来源：arXiv cs.CL · arxiv.org