CodeQuant2：低精度推理模型聚类LUT量化框架
热点事件持续更新
CodeQuant2：低精度推理模型聚类LUT量化框架
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Xingyu Liu等作者提出 CodeQuant2，一个面向低精度大推理模型（LRM）的聚类 LUT 量化框架。该框架通过旋转与缩放缓解激活离群值，用聚类表示非均匀权重分布，并按各层量化难度自适应调整码本大小；同时改进了校准样本选择，以匹配推理解码早期的激活波动。 配合定制的 LUT CUDA kernel，该框架在推理基准上提升了精度，相对 BF16 最高实现 2.85 倍加速。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 13:00
CodeQuant2：面向低精度大推理模型的离群值缓解与自适应聚类量化框架报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- arXiv cs.CLCodeQuant2：面向低精度大推理模型的离群值缓解与自适应聚类量化框架
CodeQuant2 是一个基于聚类的 LUT 量化框架，用于低精度大推理模型（LRM），通过旋转与缩放缓解激活离群值、用聚类表示非均匀权重分布，并按各层量化难度自适应调整码本大小。该框架还改进了校准样本选择，以匹配推理解码早期的激活波动，配合定制 LUT CUDA kernel 在推理基准上显著提升精度，相对 BF16 最高实现 2.85 倍加速。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。