研究称AWQ与GPTQ同属一个量化框架
热点事件持续更新
研究称AWQ与GPTQ同属一个量化框架
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Bruce Changlong Xu 提出一个以梯度加权激活敏感度为核心的后训练量化理论框架，并称 AWQ、GPTQ、对角 Fisher 量化、块重建与 Hadamard 旋转等方法都是同一个损失二次型的特例。 基于该框架，他提出 SAQ-GPTQ。据其研究，在 token 梯度异质条件下，该方法对关键通道的召回率保持在 99% 以上，INT3/INT4 的额外损失比未加权 GPTQ 降低约 3 倍。上述统一性与效果均为作者在论文中的表述。
AI 根据报道生成 · 51 分钟前更新
最新进展10月21日 12:00
激活敏感度作为训练后量化统一原理：AWQ 与 GPTQ 被证明是同一损失二次型的特例报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- arXiv cs.AI激活敏感度作为训练后量化统一原理：AWQ 与 GPTQ 被证明是同一损失二次型的特例
研究证明 AWQ、GPTQ、对角 Fisher 量化、块重建与 Hadamard 旋转等训练后量化方法，都是梯度加权激活敏感度所支配的同一损失二次型的特例。基于该框架提出的 SAQ-GPTQ 在 token 梯度异质条件下保持 >99% 关键通道召回率，INT3/INT4 额外损失比未加权 GPTQ 降低约 3 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。