扩散语言模型事实访问机制与知识编辑研究

Yuchen Guo、Zhuoyuan Mao、Yiwen Guo 提交的论文称，掩码扩散语言模型（DLM）的事实访问状态在首个注意力层即已组装完成：关系措辞被路由到可见实体位置，早期前馈层在该融合表示上完成事实查找，因此该状态会随关系表面形式和查询方向变化。 基于这一机制，作者提出 Multi-View Edit 知识编辑器，按方向拟合共享值并写入早期 MLP 块，称其在释义与反向提问上显著优于自回归（AR）编辑器。论文还称，各实体位置的状态可作为免训练的关系特定检索向量，返回双实体查询的两条证据。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。