arXiv cs.AI· Hyeongheon Cha, Young D. Kwon, Sung-Ju Lee·· 10 天前AI 评分22
QuAR：面向量化 ViT 的单次前向量化器对齐重校准测试时自适应方法
Test-Time Adaptation of Quantized ViTs via Single-Pass Quantizer-Aligned Recalibration
AI 导读
研究者提出 QuAR，一种针对量化 ViT 的单次前向测试时自适应方法，不反向传播也不更新任何模型参数，而是在冻结量化器输入端重校准激活值，将测试流的逐通道统计量映射回源校准分布。
正文 · AI 翻译
摘要：训练后量化是将视觉 Transformer（ViT）适配到边缘计算和内存预算的标准途径，然而量化模型在分布偏移下变得尤为脆弱。测试时自适应（TTA）无需标签即可应对此类偏移，但大多数现有方法与量化推理的约束契合度不佳。主流的 TTA 方法通过反向传播恢复精度，而无反向传播的方法往往仍会因额外的前向传播或参数更新而产生开销，轻量级的特征级或 logit 级方法只能恢复部分损失。在这些方法中，一个会放大精度下降的量化特有失效模式并未被直接针对：在偏移下，激活值以不同方式占据冻结量化器的校准范围，从而扭曲其码字分布。我们提出量化器对齐重校准（QuAR），一种专为量化 ViT 设计的单次前向 TTA 方法，既不反向传播也不更新任何模型参数。QuAR 在冻结量化器的输入端重校准激活值，将测试流的运行时逐通道统计量映射回源校准。在 ImageNet-C 上使用 ViT-B 时，QuAR 在 3、4、6 和 8 比特权重/激活精度下取得了最先进的无反向传播 TTA 方法中最高的平均精度，在 8 比特下超过最强基线 2.28 个百分点，在 3 比特下超过 4.00 个百分点，同时延迟降低 46%，内存开销仅为 0.17 MB（峰值推理内存的 0.01%）。分析与诊断表明，增益源于这些量化器处逐通道失配的减少，从而恢复了基线方法未改变或进一步扭曲的码字分布。单一固定配置在持续流、非独立同分布标签偏移、七个分布外测试套件以及另外三个骨干网络上均保持领先。
| 评论： | 44 页，6 张图。代码见 此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08358 [cs.CV] |
| （或 arXiv:2610.08358v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08358 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hyeongheon Cha [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 13:48:33 UTC（423 KB）
来源：arXiv cs.AI · arxiv.org