arXiv cs.CL· Haoning Yang, Lili Pan·· 12 小时前AI 评分38
GRAFT：为连续扩散语言模型补回缺失的采样接口
GRAFT: Restoring the Missing Sampling Interface in Continuous Diffusion Language Models
AI 导读
连续扩散语言模型 ELF 在常见词上与人类文本几乎一致，但最稀有词出现率仅为人类的 0.30x，且从 105M 到 652M 参数都未收窄。研究将其归因于缺少逐步离散采样、每步对候选做平均，并提出免训练方法 GRAFT：在模型未定夺时锁定稀有词再整体重生成。
正文 · AI 翻译
摘要：连续扩散语言模型并行生成整个序列，在任何中间步骤都不会抽取单个词；只有最后一步才将嵌入转换为文本。像 ELF 这样的模型现在报告称，其质量达到自回归水平，而采样步数仅为离散 token 扩散模型的一小部分，而这一设计原则——不做逐步离散化——正是它们自己的消融实验所归功于性能提升的原因。我们表明，这同一原则也带来一个隐藏代价：词汇长尾的塌缩。与留出的人类文本相比，ELF 的输出在常见词上几乎完全匹配人类频率，但其最罕见的词出现频率仅为人类频率的 0.30 倍，这一差距从 105M 到 652M 参数都没有缩小，而且这些模型所暴露的任何采样器设置都无法达到。相比之下，同样大小的 GPT-2 仅凭其解码规则就能从零跨越到高于人类频率。我们将差异追溯到连续扩散模型所缺少的东西：由于没有任何步骤会抽取离散词，每一步反而由仍在候选中的选项的平均值驱动，而将一个罕见候选与竞争同一位置的常见词一起平均，就会落到常见词上。自回归模型避免了这一点，因为其解码规则是采样一个候选，而不是对所有候选求平均。我们提出 GRAFT，一种免训练方法，将这一缺失的选择重新嫁接到冻结模型上：当模型仍未决定时，GRAFT 提交平均值原本会丢弃的罕见词，然后从头重新生成序列，并保持这些提交不变。在三个 ELF 规模和独立的连续 dLLM LangFlow 上，GRAFT 将生成文本的罕见词占比从人类频率的 0.42-0.77 倍恢复到 0.82-1.10 倍，相对提升 34-109%，并在所有测试模型上使整个词频分布更接近人类，在 ELF-B 上提升 2.7 倍，在 LangFlow 上提升 12 倍。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29136 [cs.CL] |
| （或此版本的 arXiv:2610.29136v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.29136 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoning Yang [查看电子邮件]
[v1]
2026年10月21日星期三 03:15:30 UTC（242 KB）
来源：arXiv cs.CL · arxiv.org