arXiv cs.CL· Ke Wan, Chen Chen·· 6 天前AI 评分24
RAMP：面向循环深度语言模型高效预填充的循环自适应混合精度方法
RAMP: Recurrent Adaptive Mixed Precision for Efficient Prefill in Recurrent-Depth Language Models
AI 导读
针对循环深度语言模型长上下文预填充中重复计算开销大的问题，研究者提出 RAMP（循环自适应混合精度），在循环深度早期用低精度权重与激活计算、末端恢复高精度。分析表明早期引入的量化误差会被更多后续循环步骤衰减，匹配预算实验也验证了这一预测。在最长 4K 上下文下，RAMP 保持接近全精度的预填充质量，在 NVIDIA H100 上实现最高 1.16x 端到端首次预填充加速，延迟降低 13.9%。
正文 · AI 翻译
摘要：循环深度语言模型通过反复应用共享网络来精炼内部表示，从而提升推理时的推理能力，但额外的循环计算也增加了推理成本。这种开销在长上下文预填充期间尤为明显，此时完整的输入序列会在循环深度上被反复处理。权重与激活量化提供了一种通过低精度算术加速该计算的自然方式，然而反复应用量化计算会引入数值扰动，这些扰动会沿循环轨迹累积。我们系统地分析了此类误差如何在循环深度上传播，并表明较早引入的量化误差会被更多后续循环步骤衰减，因此对最终表示的影响更小。匹配预算的实验有力地支持了这一预测，表明将量化计算放在循环深度的较早阶段始终能获得最佳的保真度。基于这一洞见，我们提出了 RAMP（循环自适应混合精度），它使用低精度权重与激活计算进行早期循环精炼，并在终端精炼时恢复高精度。在上下文长度高达 4K 的情况下，RAMP 保持了接近全精度的预填充质量，同时在 NVIDIA H100 上实现了高达 1.16 倍的端到端首次预填充加速，相当于延迟降低 13.9%。
| 评论： | 16 页，3 幅图，6 张表。预印本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13041 [cs.CL] |
| （或 arXiv:2610.13041v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13041 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ke Wan [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 05:57:33 UTC（95 KB）
来源：arXiv cs.CL · arxiv.org