arXiv cs.AI· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 12 小时前AI 评分32
GateRQ：按门控决定量化条件记忆的每次查找精度
Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs
AI 导读
GateRQ 利用条件记忆层中缩放检索行的门控值来分配量化精度，在 DeepSeek-V4.1-Flash 上无需重训练即将 GPU 表内存降低 7.8 倍，vLLM 吞吐量较 FP8 表提升 11%-31%。
正文 · AI 翻译
摘要：条件记忆层（例如 DeepSeek 的 Engram）会为语言模型附加大型哈希 n-gram 表，将其从 DeepSeek-V4.1-Flash 中移除会损失 36.8 个 PopQA 分数。低比特量化会首先丢失长尾事实，而标准补救措施——为频繁访问的行分配更多比特——反而适得其反：按访问频率细化查找比随机细化更差。我们将此归因于对每个检索行进行缩放的门控。一次查找的量化误差由其门控加权，频繁 n-gram 的门控较小，长尾实体的稀有 n-gram 的门控较大，且可由 1 比特编码计算得出。因此，GateRQ 将每一行存储为 1 比特残差编码的阶梯，将第 1 层保留在 GPU 内存中以计算门控，并且仅对门控排名最高的查找读取更深层。无需重新训练，GateRQ 在 DeepSeek-V4.1-Flash 上将 GPU 表内存减少 7.8 倍，使 vLLM 吞吐量比 FP8 表提高 11%-31%，同时在每次查找读取 1.50 比特时损失约 1 个 PopQA 分数，在两个模型上每次查找读取 2.10 比特时损失 0.2 个分数。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.35985 [cs.LG] |
| （或 arXiv:2610.35985v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35985 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chen Tianqi [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 11:53:58 UTC（401 KB）
来源：arXiv cs.AI · arxiv.org