arXiv·· 13 天前AI 评分28
CentriQ：通过精确均值中心化实现扩散 Transformer 的无校准量化
CentriQ: Calibration-Free Quantization of Diffusion Transformers via Exact Mean Centering
AI 导读
CentriQ 提出一种无需校准的扩散 Transformer（DiT）量化方法，通过精确均值中心化解决自适应 layer-norm 条件引入的 per-token 均值问题，将权重和激活量化至 4 bit 以降低采样成本。现有校准方法绑定特定 checkpoint 和提示词分布，而数据无关的 Hadamard 旋转在 DiT 上会损失生成质量，CentriQ 针对这一结构性成因进行了改进。
来源：arXiv · arxiv.org