arXiv cs.CL· Saibo Geng, Andrea Gentilini, Xinxian Ma, Nathan Ranchin, Yunzhen Yao, Robert West·· 6 天前AI 评分29
zip2zip++：在推理时实现最小质量损失的 token 压缩
zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss
AI 导读
zip2zip++ 通过解耦输入/输出动态嵌入层、尺寸感知 RoPE 定位和改进的 LZW 编解码器，在不修改预训练语言模型的前提下，将 zip2zip 与未压缩基线之间的质量差距缩小约一半。
正文 · AI 翻译
摘要：通过 Lempel-Ziv-Welch（LZW）压缩即时构建的动态词表让语言模型能用更少的 token 表示相同的文本，但此前的工作表明，这种效率是以推理能力和困惑度为代价的。我们表明，这一质量差距并非压缩的根本代价，而是可以通过对压缩层和 LZW 编解码器进行针对性改进来大幅缩小，且无需修改底层的预训练语言模型。我们的分析揭示了四个关键问题：(1) LZW 的压缩算法在输入嵌入和输出嵌入之间造成了隐式冲突，这种张力是单一共享嵌入无法解决的；(2) 将 RoPE 简单地应用于 LZW 压缩后的序列，忽略了合并后的 token 可能跨越多个 token；(3) 合并某些 token（尤其是数字）会不成比例地损害下游准确率；(4) 动态词表引入了固有的分词歧义，干扰了标准评估。我们通过解耦的输入/输出动态嵌入层、感知尺寸的 RoPE 定位，以及支持选择性合并和多视图分词的改进版 LZW 编解码器来解决这些问题。在四个模型上，我们的方法在我们评估的每个语料上都改善了困惑度以及数学推理准确率，在通用文本上以相近的压缩比将 zip2zip 与未压缩基线之间的质量差距缩小了约一半。这代表着朝着语言模型无损自适应词表压缩迈出的重要一步。
| 评论： | 27 页，12 张图，13 张表。代码：this https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13605 [cs.CL] |
| （或 arXiv:2610.13605v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13605 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Saibo Geng [查看邮箱]
[v1]
2026 年 10 月 9 日星期五 13:52:54 UTC（721 KB）
来源：arXiv cs.CL · arxiv.org