arXiv cs.AI· Bowen Zheng, Weijian Luo, Guang Yang, Colin Zhang, Tianyang Hu·· 11 小时前AI 评分32
用可变码本大小量化驯服熵悬崖：面向自回归视觉生成的 VCQ 方法
Taming the Entropy Cliff: Variable Codebook Size Quantization for Autoregressive Visual Generation
AI 导读
研究者提出可变码本大小量化（VCQ），让码本大小沿序列从 K_min=2 单调增长到 K_max，以应对自回归视觉生成中的"熵悬崖"现象——在 ImageNet 上 K=16384 时，仅约 256 个位置中的前 2 个之后条件分布就近乎确定。
正文 · AI 翻译
摘要：大多数离散视觉分词器都依赖一种默认设计：序列中的每个位置共享同一个码本。这种恒定码本设计会很快耗尽有限数据的熵预算。我们观察到，逐位置的经验条件熵沿序列衰减得非常快，以至于在几个位置之后，条件分布就变得基本确定了。在 ImageNet 上，当 $K=16384$ 时，这种情况仅发生在 256 个位置中的约 2 个位置之后，此时大多数前缀已经能够识别数据集中的单张图像。我们将这一现象称为熵悬崖（Entropy Cliff）。在充分利用条件信息的情况下，更大的码本会在更少的位置上耗尽有限数据的熵预算。在我们的语言对比中，经验熵下降得更为平缓，每个位置的有效熵始终低于码本容量。为解决这一问题，我们提出了可变码本大小量化（VCQ），其中码本大小 $K_t$ 沿序列从 $K_{\min}=2$ 单调增长到 $K_{\max}$，同时保持损失函数、参数数量和自回归训练过程不变。使用普通自回归 Transformer 和标准下一词元预测，VCQ-Base 在 ImageNet $256\times256$ 上无需 CFG 达到 gFID 14.80，而大小为 16384 和 8192 的恒定码本分别为 27.98 和 18.16。扩大规模后，它以 684M 自回归参数达到 gFID 1.71，且无需任何额外训练技术，如语义正则化或因果对齐。$K_{\min}=2$ 处的极端信息瓶颈促使早期编码器特征中的语义集中：仅对前 10 个位置的特征进行线性探测，在 ImageNet 上达到 43.8% 的 top-1 准确率，而均匀码本为 27.1%。这些结果表明，重要的不仅是码本的总容量，还包括该容量如何分布和组织。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.06207 [cs.CV] |
| （或 arXiv:2605.06207v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06207 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Bowen Zheng [查看电子邮件]
[v1]
2026年5月7日星期四 13:13:30 UTC（26,460 KB）
[v2]
2026年11月5日星期四 08:11:43 UTC（26,457 KB）
来源：arXiv cs.AI · arxiv.org