arXiv cs.CL· Chia-Ming Lee, Shao-Kai Liu, Ming-Ching Chang, Xin Li, Yu-Lun Liu, Chih-Chung Hsu·· 3 天前AI 评分28
C⁴：在扩散语言模型中协同自适应采样与提前退出
Commit Locally, Exit Globally: Coordinating Adaptive Sampling and Early Exit in Diffusion Language Models
AI 导读
研究者提出免训练框架 C⁴，将局部解码加速与自适应全局提前退出结合，在 LLaDA 上校准一次后即可迁移至全部 12 个零样本任务及 Dream。该框架使解码步数减少 64-95%，实测解码循环加速 2.6x-18.6x，任务性能接近完整解码。其中提前退出主要在短答案任务上节省计算，局部加速则在推理与代码生成任务上贡献更大。
正文 · AI 翻译
摘要：扩散语言模型并行预测 token，但仍需要多次迭代前向传播。自适应采样加速了局部 token 的确定，而近期的全局停止方法则试图提前结束生成。我们的轨迹分析表明，简短答案在解码早期即可稳定，而推理输出通常需要更多步骤才能收敛。因此，固定的进度阈值难以同时避免短答案任务上的冗余计算和推理任务上的过早终止。我们提出 C$^4$，一个无需训练的框架，将局部解码加速与自适应全局提前退出相结合。置信度验证提前退出（CVEE）决定何时结束生成，一旦满足其停止准则便跳过剩余步骤。它结合置信度与时间一致性，使停止策略适应观察到的修订历史。先确定核心再确认（CCTC）在生成继续的同时加速 token 确定，减少完成每个块所需的解码步骤。它通过边界锚定核心和对延迟预测的一步确认来扩展置信度阈值并行解码，约束额外确定以缓解在上下文未解决时过早冻结。在 LLaDA 上对 CVEE 进行一次校准后，相同的数值设置可迁移到全部 12 个零样本任务以及 Dream，无需重新校准。在此配置下，C$^4$ 将解码步骤减少 64-95%，并实现实测解码循环加速 2.6 倍至 18.6 倍，任务性能接近完整解码。组件分析显示出互补贡献：提前退出在短答案任务上提供了大部分节省，而局部加速在推理和代码生成上贡献更多。
| 评论： | 代码：此 https URL。项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.28166 [cs.CL] |
| （或 arXiv:2607.28166v3 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2607.28166 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chia-Ming Lee [查看电子邮件]
[v1]
2026年7月30日星期四 13:04:47 UTC（1,596 KB）
[v2]
2026年8月13日星期四 09:19:39 UTC（1,540 KB）
[v3]
2026年10月14日星期三 04:05:43 UTC（575 KB）
来源：arXiv cs.CL · arxiv.org