arXiv cs.AI· Rui Fang, Hsi-Wen Chen, Chia-Ming Cheng, Ming-Syan Chen·· 3 天前AI 评分22
LoopQ：面向循环语言模型的量化方法
LoopQ: Quantization for Looped Language Models
AI 导读
针对循环语言模型（LoopLM）在训练后量化（PTQ）中因角色分布偏移、循环状态复用和递归误差累积导致的性能退化，研究者提出循环感知量化框架 LoopQ，在保留共享量化主干的同时引入轻量适配。在 W4A4 量化下，LoopQ 在四个主干上实现五任务平均准确率 67.8% 的平均相对提升，八个主干-数据集组合的平均困惑度相对下降保守估计为 75.2%。
正文 · AI 翻译
摘要：循环语言模型（LoopLMs）通过重复应用共享的 Transformer 块来增加有效计算深度，而不增加参数量。然而，这种复用使它们对训练后量化（PTQ）尤为敏感。我们系统地研究了 LoopLMs 中的 PTQ，并识别出三个退化来源：角色间的分布偏移、循环转换间的状态复用，以及递归误差累积。我们提出 LoopQ，一个循环感知的 PTQ 框架，在保留共享量化主干的同时引入轻量级适配。LoopQ 结合了循环感知激活缩放与选择性变换以适应变化的隐藏状态分布、跨循环状态对齐以稳定转换，以及轨迹感知校准以限制累积误差。在 W4A4 量化下，与每个对比中最强的静态 PTQ 基线相比，LoopQ 在四个主干上实现了五任务平均准确率 67.8% 的平均相对提升，并在八个主干-数据集对上保守估计平均相对困惑度降低 75.2%。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.16343 [cs.LG] |
| （或 arXiv:2605.16343v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.16343 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Rui Fang [查看邮箱]
[v1]
2026年5月8日星期五 01:45:28 UTC（485 KB）
[v2]
2026年10月12日星期一 16:51:06 UTC（242 KB）
来源：arXiv cs.AI · arxiv.org