arXiv cs.CL· Chuling Wen, Weijie Liang, Jian Lu, Zhouchen Lin·· 11 小时前AI 评分31
掩码扩散模型的自适应并行采样串行深度：下界与调度策略
Serial Depth of Adaptive Parallel Sampling: Lower Bounds and Schedules for Masked Diffusion Models
AI 导读
研究提出"串行深度"指标，衡量掩码扩散模型在给定前向 KL 误差预算下所需的最少生成轮数（按目标序列平均），并为可自适应生成值的确定性规则证明下界，深度范围从 log log n 到与序列长度 n 线性。
正文 · AI 翻译
摘要：掩码扩散模型分轮生成序列，每轮同时预测多个被掩码的位置。轮数越少，解码越快，但独立采样位置会丢失它们之间的依赖关系，从而使输出产生偏差。在给定误差预算下，多少轮才足够？除了针对单个解码规则的误差界之外，我们还研究了给定目标分布所需轮数的紧致下界。我们引入了串行深度：即满足前向 Kullback-Leibler 误差预算所需的、对目标序列取平均的最小轮数。在条件概率精确的前提下，我们为所有可依据已生成值进行自适应的确定性规则证明了这些界，并为若干分布族构造了匹配的调度方案，其深度从 $\log\log n$ 到与序列长度 $n$ 成线性不等。为缩小与训练模型之间的差距，我们证明这些下界对学习得到的预测器仍然成立，并给出了访问上下文上的充分精度条件，使调度方案能够保持其误差保证。在两个预训练模型、五个文本域上，由理论建议的调度方案在五轮内于留出文本上取得的平均对数似然，高于随机选择在八轮内的结果。一项预注册的验证研究证实了在独立对话数据上的相对提升。
| 评论： | 45 页。修订版，更换了新标题 |
| 主题： | 信息论（cs.IT）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.25505 [cs.IT] |
| （或 arXiv:2608.25505v2 [cs.IT] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.25505 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jian Lu [查看邮箱]
[v1]
2026 年 8 月 26 日星期三 08:16:24 UTC（78 KB）
[v2]
2026 年 10 月 20 日星期二 13:49:11 UTC（75 KB）
来源：arXiv cs.CL · arxiv.org