ResQAdam 降低量化感知训练优化器内存
热点事件持续更新
ResQAdam 降低量化感知训练优化器内存
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Liqun Ma 等作者提出量化感知训练优化器 ResQAdam，称其相比 AdamW 将优化器状态内存降低 71% 至 74%，训练吞吐下降不到 2%。 该方法只保留单个 BF16 动量，仅在主子空间的 r×r 坐标上应用 Adam，并用残差计算出的归一化符号更新补回被投影方法丢弃的动量信息。上述内存与吞吐数据为作者在论文中的说法。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 13:00
ResQAdam：面向内存高效量化感知训练的残差保留自适应优化器报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- arXiv cs.CLResQAdam：面向内存高效量化感知训练的残差保留自适应优化器
ResQAdam 是一种面向量化感知训练（QAT）的内存高效优化器，相比 AdamW 将优化器状态内存降低 71% 至 74%，训练吞吐下降不到 2%。它只保留单个 BF16 动量，仅在主子空间的 r×r 坐标上应用 Adam，并用残差计算出的归一化符号更新补回被投影方法丢弃的动量信息。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。