大语言模型查找表的两比特量化：Conditional Program 压缩 n-gram 记忆

N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models

AI 导读

研究者提出 Conditional Program（CP），一种只重建输入所请求行的压缩表示，用短码加局部缩放并共享重建程序，以 Gaussian trellis 实例化。其两比特编码相比 2-bit round-to-nearest 将输出 KL 降低 41–63%。在 DeepSeek 上，该方案把表存储从 203GB 降至 51GB，为表常驻 GPU 时留出更大工作负载空间。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：条件记忆通过选择性查找扩展了语言模型的容量，但完整的嵌入表必须对每个可能的输入保持可用。我们引入条件程序（CP），这是一种压缩表示，仅重建输入所请求的行。CP 用短代码和局部缩放表示每一行，并在整个表上共享一个重建程序。我们用高斯网格、范数恢复和可独立解码的行记录来实例化这种表示。相对于 2 位最近舍入，CP 的两位代码将输出 KL 降低了 41--63\%。对三个训练过的 n-gram 记忆族的分析表明，类高斯的坐标统计与行之间的学习关系共存；在相同的存储预算下，共享网格优于我们测试的拟合码本和低秩残差变体。对于 DeepSeek，它将表存储从 203GB 减少到 51GB，当表保留在 GPU 上时为更大的工作负载留出了空间。

主题：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2610.21810 [cs.LG]
	（或 arXiv:2610.21810v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.21810 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Donghoon Han [查看电子邮件]
[v1] 2026年10月15日星期四 12:57:19 UTC（185 KB）

来源：arXiv cs.CL · arxiv.org