扩散语言模型并行解码的实测耦合方法

Measured Coupling for Parallel Decoding in Diffusion Language Models

AI 导读

扩散语言模型并行解码提出用“耦合”替代均值场解码的相似度代理，即衡量提交一个 token 会多大程度改变模型在另一位置的置信度。该方法在主前向传播中用廉价探针测得耦合，无需训练或额外模型，可直接接入原有均值场规则。在三个模型和四个基准上，其所需步数远少于均值场解码，多数设置下速度更快（含 key-value cache 场景），平均精度代价为 1.1 分。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：扩散语言模型每步可以写出许多 token，但必须选择哪些 token 可以安全地一起提交。平均场解码会惩罚预测看起来相似的成对位置。我们用耦合本身取代这一代理指标：提交一个 token 会在多大程度上改变模型对另一个 token 的置信度。在主前向传播中进行低成本探测即可测量，无需训练或额外模型，并且可以接入相同的平均场规则。在三个模型和四个基准上，我们的方法所需步数远少于平均场解码，并且在大多数设置下更快，即使使用键值缓存也是如此，平均准确率代价为 1.1 个百分点。打乱耦合或将其替换为均匀奖励会失去这一增益。

学科：	计算与语言（cs.CL）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）；机器学习（cs.LG）；性能（cs.PF）
引用为：	arXiv:2611.08307 [cs.CL]
	（或 arXiv:2611.08307v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.08307 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Tal Oved [查看电子邮件]
[v1] 2026年11月5日星期四 17:10:03 UTC（257 KB）

来源：arXiv cs.CL · arxiv.org