GaugeQuant：用LLM对称性在线学量化基
热点事件持续更新
GaugeQuant：用LLM对称性在线学量化基
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Miguel P. Bento 与 João F. Seabra 提出 GaugeQuant 量化方法：在训练损失中加入 LogSumExp 项打破 Transformer 内部连续对称性，在线选出使激活离群值最小的旋转基，且不改变语言建模目标。该方法无需特定校准数据和量化模拟，仅增加少量推理开销。 在 Qwen-2.5 0.5B 上，W4A16 困惑度从 25.62 降至 16.76，零样本准确率提升；在 LLaMA-2 7B 上困惑度改善，但下游准确率未提升。代码已开源。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 13:00
GaugeQuant：从 LLM 对称性中在线学习量化最优基报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.CLGaugeQuant：从 LLM 对称性中在线学习量化最优基
GaugeQuant 通过在训练损失中加入 LogSumExp 项打破 Transformer 内部连续对称性，在线选出使激活离群值最小的旋转基，且不改变语言建模目标。该方法无需特定校准数据和量化模拟，仅增加少量推理开销；在 Qwen-2.5 0.5B 上 W4A16 困惑度从 25.62 降至 16.76 并提升零样本准确率，在 LLaMA-2 7B 上困惑度改善但下游准确率未提升。代码已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。