2比特量化新方法保留89%至97%精度
热点事件持续更新
2比特量化新方法保留89%至97%精度
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Rhea Sanjay Sukthanker 等作者提交论文，研究2比特后训练量化（PTQ）中的量化表示、校准数据和恢复微调数据选择。其配方采用向量码本表示、小型任务对齐校准数据，并联合选择校准与恢复数据。 在3.8B至32B的六个稠密与MoE模型上，该方法以约2.3有效bits/权重保留全精度QA准确率的89%至97%，而标量PTQ已跌至随机水平。作者称，包含恢复阶段在内，其计算量比最强QAT基线少1.4至30倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月21日 12:00
超越 4 bits：以数据为中心的后训练量化与恢复方法报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- arXiv cs.AI超越 4 bits：以数据为中心的后训练量化与恢复方法
研究提出一种面向 2-bit 后训练量化（PTQ）的配方：采用向量码本表示、小型任务对齐校准数据，并将校准与恢复数据联合选择，在 3.8B 至 32B 的六个稠密与 MoE 模型上，以约 2.3 有效 bits/权重保留全精度 QA 准确率的 89% 至 97%，而标量 PTQ 已跌至随机水平。包含恢复阶段在内，其计算量比最强 QAT 基线少 1.4 至 30 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。