arXiv cs.AI· Sunghyun Wee, Geunjae Choi, Hyeonjin Kim, Suyoung Kim, Nojun Kwak·· 2 天前AI 评分27
FPoT：面向高效无乘法器 LLM 推理的分数次幂量化
Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference
AI 导读
研究者提出 FPoT，一种基于 √2（半倍频程）的分数次幂网格量化方法，可在保持全整数移位加法数据通路的同时实现实用的 4-bit 权重量化。在 Llama-3-8B 的 4-bit 权重与激活量化下，FPoT 相比 PoT 基线将零样本常识推理性能提升 8.72%，与均匀整数基线仅差 0.4 个百分点。
正文 · AI 翻译
摘要：大型语言模型（LLM）需要高效推理，其中线性投影中的乘累加（MAC）运算主导了计算和能耗成本。训练后量化（PTQ）通过将权重和激活映射为低位整数来降低这一成本。二次幂（PoT）权重量化有望通过移位加法逻辑实现高效的无乘法器 LLM 推理，但由于其粗糙的以 2 为基数的量化网格，在低比特宽度下会出现显著的精度下降。我们提出了分数 PoT（FPoT），一种以 $\sqrt{2}$ 为基数（半倍频程）的分数 PoT 网格，在保持全整数移位加法数据通路的同时实现了实用的 4 比特权重量化。该方法结合了：(i) 以 $\sqrt{2}$ 为基数的权重网格与均匀整数激活，(ii) 在校准时进行的网格对齐细化，并将其吸收到静态逐通道缩放中，以及 (iii) 一种轻量级的 1 加法器 $\sqrt{2}$ 近似，其误差在权重校准期间通过近似网格量化被吸收，从而得到一种门数显著少于 4 比特整数乘法器的处理单元（PE）。在采用 4 比特权重和激活量化的 Llama-3-8B 上，FPoT 相对于 PoT 基线将零样本常识推理性能提升了 8.72%，同时保持与均匀整数基线接近的性能，仅有可忽略的 0.4%p 下降。这些结果在涵盖七个模型和三种比特宽度的多种配置下均成立。此外，FPoT 可以与最先进的 LLM PTQ 方法集成，展现出框架无关的适用性。
| 评论： | 37 页，19 幅图，22 张表。已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21257 [cs.LG] |
| （或 arXiv:2610.21257v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21257 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sunghyun Wee [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 04:50:03 UTC（301 KB）
来源：arXiv cs.AI · arxiv.org