arXiv cs.AI· Zhixiong Zhao, Zukang Xu, Xing Hu, Lifeng Liu, Guangyu Sun, Dawei Yang·· 3 天前AI 评分27
LoopQuant：面向循环 Transformer 的精准高效训练后量化框架
LoopQuant: Accurate and Efficient Post-Training Quantization for Looped Transformers
AI 导读
LoopQuant 是面向循环语言模型（LoopLM）的循环感知训练后量化（PTQ）框架，通过 CLDC、ILPA、LCTC 三个组件解决跨循环激活动态与递归误差传播问题。在 Ouro-2.6B 上，其 W4A4 精度超过所有 W4A8 基线，模型内存减少 65.3%，相比朴素 INT4 仅增加 3.4% 存储开销，解码速度较 BF16 提升 1.7 倍。代码已开源。
正文 · AI 翻译
摘要：循环语言模型（LoopLMs）通过递归复用共享的 Transformer 模块来提高参数效率，但其在演化循环状态上的重复计算为低比特部署带来了新的挑战。现有的训练后量化（PTQ）方法主要面向前馈 Transformer 设计，未能考虑跨循环激活动态、异构循环敏感性和递归误差传播，导致低精度下性能大幅下降。为应对这些挑战，我们提出 LoopQuant，一个面向 LoopLM 的循环感知 PTQ 框架，可实现准确且高效的低比特量化。LoopQuant 基于三个核心组件构建：1）跨循环分布规范化（CLDC）在保持参数共享的同时，学习跨循环状态的共享量化友好表示；2）交互感知逐循环精度分配（ILPA）在固定比特预算下，通过建模任务级循环敏感性和跨循环交互来分配激活精度；3）循环条件任务校准（LCTC）通过轻量级任务空间校准，进一步使量化推理与低比特递归轨迹对齐。跨 LoopLM 架构的大量实验表明，LoopQuant 持续优于现有低比特 PTQ 方法。在 Ouro-2.6B 上，LoopQuant 在 W4A4 下的性能超越所有 W4A8 基线，同时相比朴素 INT4 仅增加 3.4% 的额外存储开销，将模型内存减少 65.3%，并相比 BF16 实现 1.7 倍解码加速。这些结果展示了在精度、压缩和推理效率之间的良好平衡，为低比特 LoopLM 推理提供了实用且易于部署的解决方案。代码可在 [此 https URL] 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16368 [cs.LG] |
| （或 arXiv:2610.16368v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16368 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhixiong Zhao [查看邮箱]
[v1]
2026年10月12日星期一 08:20:04 UTC（22,875 KB）
来源：arXiv cs.AI · arxiv.org