arXiv cs.AI· Muhammed Fatih Bal{\i}n·· 4 小时前AI 评分38
CPTC:用两次乘法和一张 64 字节表实现近最优量化
Computed Permutation Trellis Coding: Near-Optimal Quantization from Two Multiplications and a 64-Byte Table
AI 导读
研究者提出低比特量化格式 CPTC(Computed Permutation Trellis Coding),解码器只需两次乘法加一张 64 字节表,在 4 bit 下距信息论理想仅 0.07 bit,并精确复现标准整数与浮点格式。
正文 · AI 翻译
摘要:我们提出计算置换网格编码(Computed Permutation Trellis Coding,CPTC),一种用于一次写入、多次读取张量的低位量化格式。像 INT4 和 FP4 这样对每个值单独取整的格式,会浪费很大一部分比特,偏离信息论理想值。网格码通过联合编码数值来弥补这一损失,但此前的解码器要么需要大型查找表才能达到最佳质量,要么用哈希计算数值,从而限制了可解码的范围。CPTC 的解码器将其状态乘以两个系数,并将乘积的高位相加,以索引一个 64 字节的表。由于该和并非均匀分布,小表中很少使用的两端可以容纳远在尾部的值。一个解码器即可服务从 1 到 6 的每种位宽,精确复现标准整数和浮点格式,并在 4 位时与理想值相差 0.07 比特以内。它可媲美表大小为其数千倍的随机置换网格码,并超越所有 QTIP 码本。在无需微调的 LLM 权重量化中,在 Llama 3.1 8B 和 70B Instruct 上,CPTC 在每个测试位宽下与未量化模型的 KL 散度均为最低,相比 QTIP 的码本(最高低 27%)。该解码器已内置于 AWS Trainium 4 AI 加速器中,其运行吞吐量与原生 FP4 和 FP8 格式相当,而仅占用脉动阵列面积的极小部分。融合编码内核可在单块 GPU 上于两分钟内量化 8B 模型的线性层,并在周期级模拟中于单块 Trainium 4 芯片上完成。
| 评论: | 38 页,6 幅图,27 张表 |
| 主题: | 信息论(cs.IT);人工智能(cs.AI);硬件架构(cs.AR);机器学习(cs.LG) |
| ACM 分类: | E.4;I.2.6 |
| 引用为: | arXiv:2611.22019 [cs.IT] |
| (或 arXiv:2611.22019v1 [cs.IT] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2611.22019 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Muhammed Fatih Balın [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 00:17:01 UTC(419 KB)
来源:arXiv cs.AI · arxiv.org