arXiv cs.CL· Xuning He, Qingyuan Shi, Zinan Sheng, Yongding Tao, Huanyu Liu, Ge Li, Xue Jiang, Yihong Dong·· 2 天前AI 评分24
Archer：为扩散语言模型高效回滚自适应复用缓存隐藏状态
Archer: Adaptive Reuse of Cached Hidden States for Efficient Rollback in Diffusion Language Models
AI 导读
研究者提出免训练缓存方法 Archer，通过在每个更新步重算可变回复、仅在有限回复状态邻域内复用 prompt 的 K/V，实现扩散语言模型的高效回滚。在代码生成基准上，Archer 取得 33.63% 的最佳平均性能与 2.57x 平均加速，单基准最高 2.95x；在非代码基准上相对 LLaDA-Confidence 最高加速 4.33x 并提升平均准确率。代码已公开。
正文 · AI 翻译
摘要：扩散语言模型（DLM）可以随着上下文演变修正先前的预测，但回滚需要代价高昂的全序列重计算。传统的键值（KV）缓存假设历史状态不可变，难以与这种修正相协调。我们提出了用于高效回滚的缓存隐藏状态自适应复用（Archer），这是一种面向支持回滚的 DLM 的免训练缓存方法。Archer 在每次更新时重新计算可变的响应，同时在有限的响应状态邻域内复用提示 K/V。这种非对称边界在不限制回滚的前提下摊销了提示计算。有界复用还延迟了来自暂定 token 的反馈，同时保持响应修正处于活跃状态。我们的分析刻画了缓存边界，给出了状态相关近似误差的界，并给出了保持全刷新决策的解码器裕度条件。在代码生成基准上，Archer 取得了 33.63% 的最佳平均性能，平均加速 2.57 倍，在单个基准上达到 2.95 倍加速。在非代码基准上，Archer 相比 LLaDA-Confidence 最高实现 4.33 倍加速，同时提升了平均准确率。受控分析支持延迟提示反馈机制。我们的代码可在 此 https URL 获取
| 评论： | 26 页，7 幅图，12 张表；修订稿，更新了作者列表和单位 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.08086 [cs.CL] |
| （或 arXiv:2608.08086v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.08086 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Xuning He [查看邮箱]
[v1]
2026 年 8 月 8 日星期六 12:13:10 UTC（1,465 KB）
[v2]
2026 年 8 月 11 日星期二 12:16:53 UTC（1,465 KB）
[v3]
2026 年 10 月 15 日星期四 16:56:51 UTC（963 KB）
来源：arXiv cs.CL · arxiv.org