arXiv cs.CL· Yuchen Guo, Zhuoyuan Mao, Yiwen Guo·· 11 小时前AI 评分31
扩散语言模型中的事实访问状态：从机制到知识编辑与检索
Factual Access States in Diffusion Language Models: From Mechanism to Knowledge Editing and Retrieval
AI 导读
研究揭示掩码扩散语言模型（DLM）的事实访问状态在首个注意力层即已组装完成：关系措辞被路由到可见实体位置，早期前馈层在该融合表示上完成事实查找，因此状态随关系表面形式和查询方向变化。基于此提出的 Multi-View Edit 知识编辑器按方向拟合共享值并写入早期 MLP 块，在释义与反向提问上显著优于 AR 编辑器。各实体位置的状态还可作为免训练的关系特定检索向量，返回双实体查询的两条证据。
正文 · AI 翻译
摘要：事实回忆是一种查找：网络内部的某种表示充当键，而这个键由什么构成，决定了哪些查询能够检索到该事实、一次编辑必须覆盖什么，以及检索器能读取什么。我们称之为事实访问状态。在自回归（AR）模型中，主语位置对属性的丰富在很大程度上与关系无关，而关系特定的选择发生在更晚的读出位置。在掩码扩散语言模型（DLM）中，我们发现该状态的组装方式不同，而且早得多：在第一层注意力中，关系的措辞被路由到可见实体的位置，早期前馈层则在这个融合表示上查找事实。因此，该状态会随关系的表面形式和查询方向而变化，所以关于同一事实的查询占据的是状态空间中的一个区域而非一个点，对事实的操作只对进入该区域的查询才成功。我们将该状态视为 DLM 事实知识的一个接口，并将其用于两种用途。向该状态写入可得到一种知识编辑器：从一条陈述性语句出发，Multi-View Edit 在该区域内为每个方向拟合一个共享值，并将其安装到早期 MLP 块中，在保持源提示可靠性的同时，大幅改善释义和反向问答，而 AR 编辑器在这两方面几乎毫无增益。读取该状态则提示了一种互补用途：每个实体位置上的状态都可以充当无需训练的关系特定检索向量，为双实体查询返回两条证据，而池化、提示和词汇检索器几乎从不会同时返回这两条证据。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.27580 [cs.CL] |
| （或 arXiv:2610.27580v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27580 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuchen Guo [查看电子邮件]
[v1]
2026年10月20日星期二 03:45:45 UTC（4,914 KB）
来源：arXiv cs.CL · arxiv.org