arXiv cs.CL· Hanhan Zhou, Shamik Roy, Rashmi Gangadharaiah·· 10 天前AI 评分23
离散扩散语言模型的机制引导干预：自适应调度实现不破坏质量的受控生成
Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models
AI 导读
针对离散扩散语言模型（DLM）沿用自回归模型的均匀干预策略效率低、质量差的问题，研究者对四个 DLM（124M-8B 参数）训练稀疏自编码器，发现不同属性在不同去噪阶段形成，如 MDLM 上主题在前 2% 去噪内定型，情感则在 20% 过程中逐渐显现。
正文 · AI 翻译
摘要：离散扩散语言模型（DLM）通过并行地对所有位置进行迭代去噪来生成文本，为自回归模型提供了一种替代方案。从自回归模型引入的 DLM 可控生成方法在每一步去噪时都施加统一的干预。我们表明这种统一调度效率低下且会降低质量，并且当多个属性被联合引导时，损害会进一步累积。为诊断这一失败，我们在四个 DLM（124M-8B 参数）上训练稀疏自编码器，发现不同属性在不同的调度上定型，在时机、锐度和幅度上各不相同。例如，在 MDLM 上，主题在去噪的前 2% 内定型，而情感则在过程的 20% 中逐渐显现。受这些特征的启发，我们提出了一种自适应调度机制，将干预集中在每个属性正在积极形成的阶段。一项理想化分配分析预测，涌现越集中锐利的属性从自适应调度中获益越多，我们通过实验证实了这一预测。在四个 DLM 上的七个单属性和多属性引导任务中，自适应引导在控制-质量平衡上始终优于统一和区间受限的基线。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.10971 [cs.LG] |
| （或 arXiv:2605.10971v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.10971 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Hanhan Zhou [查看电子邮件]
[v1]
2026年5月8日星期五 18:52:17 UTC（4,221 KB）
[v2]
2026年10月6日星期二 20:54:30 UTC（4,337 KB）
来源：arXiv cs.CL · arxiv.org