ResQAdam：面向内存高效量化感知训练的残差保留自适应优化器

ResQAdam: Residual-Preserving Adaptive Optimization for Memory-Efficient Quantization Aware Training

AI 导读

ResQAdam 是一种面向量化感知训练（QAT）的内存高效优化器，相比 AdamW 将优化器状态内存降低 71% 至 74%，训练吞吐下降不到 2%。它只保留单个 BF16 动量，仅在主子空间的 r×r 坐标上应用 Adam，并用残差计算出的归一化符号更新补回被投影方法丢弃的动量信息。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：量化感知训练（QAT）是获得精确低比特大语言模型（LLM）最可靠的方法，但使用 AdamW 训练会为每个权重矩阵保留两个稠密的 FP32 状态。我们发现，GaLore 和 LDAdam 等低秩内存高效优化器在 QAT 中性能显著下降。QAT 动量中有相当一部分位于其前 r 个奇异子空间之外，而基于投影的方法在每一步都会丢弃这部分。我们进一步观察到，当只保留其符号时，该残差仍然有用。基于这些观察，我们提出了 ResQAdam。它只保留单个 BF16 动量，仅对主子空间的 r x r 坐标应用 Adam，并加入由残差计算得到的归一化符号更新。我们使用两种从零开始的 QAT 方法和三种 QAT 微调流程评估 ResQAdam，权重被量化至 2 比特。相对于 AdamW，它将优化器状态内存减少了 71% 至 74%，在大多数设置下接近 AdamW，并将训练吞吐量降低不到 2%。

学科：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2611.08924 [cs.LG]
	（或 arXiv:2611.08924v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.08924 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Shengkun Tang [查看邮箱]
[v1] 2026年11月6日星期五 03:12:45 UTC（375 KB）

来源：arXiv cs.CL · arxiv.org