arXiv cs.CL· Moongyu Jeon, Sangwoo Shin, BumJun Kim, Kyelim Lee, Albert No·· 12 小时前AI 评分31
理论分析揭示掩码扩散模型为何能缓解反转诅咒
A Theoretical Analysis of Why Masked Diffusion Models Mitigate the Reversal Curse
AI 导读
掩码扩散语言模型（MDM）缓解反转诅咒的原因在于前向与反向位置条件之间的参数级耦合：共享 Transformer 参数存储 token 对证据，相对位置编码只通过 query 和 key 路由注意力，不改变被检索的 value 侧证据。
正文 · AI 翻译
摘要：自回归语言模型（ARMs）存在反转诅咒：在学习“$A$ 是 $B$”之后，它们往往在反向查询“$B$ 是 $A$”上失败。掩码扩散语言模型（MDMs）表现出这种失败的程度要弱得多，但其根本原因仍不清楚。一种常见的解释将这种缓解归因于其任意顺序的掩码训练目标。然而，在训练中观察到“$[\mathbf{M}]$ 是 $B$”只教会了在一种位置配置下从 $B$ 恢复 $A$，这本身并不能解释为何学到的证据应当迁移到反向提示“$B$ 是 $[\mathbf{M}]$”。我们提供了一项理论分析，表明这种迁移源于正向与反向位置条件之间的参数级耦合：共享的 Transformer 参数存储词元对证据，而相对位置编码通过查询和键来引导注意力，却不改变被检索的值侧证据。在单层 MDM 中，我们证明正向掩码训练会强化可在反向查询中复用的证据，诱导出相关的正—反向注意力路径，并产生一个正对齐的共享存储梯度分量，该分量在一阶意义上降低反向损失。受控的单层实验以及大规模 LLaDA/Dream 实验验证了这些特征，并表明它们转化为反向预测性能的提升。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2602.02133 [cs.AI] |
| （或 arXiv:2602.02133v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.02133 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sangwoo Shin [查看邮箱]
[v1]
2026年2月2日星期一 14:17:08 UTC（2,536 KB）
[v2]
2026年5月12日星期二 06:03:27 UTC（1,820 KB）
[v3]
2026年10月21日星期三 08:39:13 UTC（1,819 KB）
来源：arXiv cs.CL · arxiv.org