arXiv cs.CL· T. Y. Tsui, Jiatao Gu, Lingjie Liu·· 9 天前AI 评分27
扩散模型与自回归模型的统一解码调度理论：过渡定律的格结构
The Lattice of Transition Laws
AI 导读
研究者将扩散模型、自回归（AR）模型及其中间形态统一描述为同一"损坏格"上的路径，并定义调度成本为并行步骤所丢弃的依赖关系。对于图上马尔可夫数据，零成本调度的最少步数等于图的 treedepth，该值随序列长度呈对数增长、随网格边长呈线性增长。在文本、图像和视频生成任务中，基于预训练权重估计的成对依赖核可在解码前预测不同调度的成本排名，且大部分预测得到验证。
正文 · AI 翻译
摘要：扩散模型和自回归（AR）模型长期以来被视为不同类别的生成模型，扩散模型擅长连续场，AR 模型擅长离散 token。近期工作试图结合两种模型的优势，而每种混合模型都通过设计固定其解码调度。在本文中，我们探究一个问题：在固定步数下解码之前，能否预测某一模型解码调度的性能。我们将扩散、AR 以及介于两者之间的模型描述为同一损坏格上的路径，并将调度的代价定义为其并行步骤所丢弃的依赖关系。该代价表明，零代价调度的最少步数由数据的几何结构决定，对于 token 和连续场都是如此。特别地，对于在图上满足马尔可夫性且沿其路径存在依赖的数据，最少步数等于该图的树深，它与序列长度成对数关系，与网格边长成线性关系。当步数少于树深时，每个调度都要付出正代价，我们可以在解码前用从预训练权重估计出的成对依赖核来预测其排序。在文本生成、图像生成和视频生成中，我们验证了关于不同调度在不同指标和基准下排序的大部分预测。因此，这项工作为未来 AR 模型、扩散模型以及介于两者之间的任何模型的解码提供了一个设计原则。我们的代码可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11216 [cs.LG] |
| （或 arXiv:2610.11216v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11216 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：T. Y. Tsui [查看电子邮件]
[v1]
2026年10月8日星期四 04:13:05 UTC（408 KB）
来源：arXiv cs.CL · arxiv.org