arXiv cs.CL· Zhiyun Shi·· 10 小时前AI 评分42
Legible：让微调写入的新事实能被模型正确读取，破解两跳推理诅咒
Write Facts the Way Models Read Them: Lifting the Two-Hop Curse
AI 导读
研究者提出 Legible 方法，用一个损失项让微调写入的新事实在桥接短语处与模型自身对该实体的读取表示对齐，无需多跳训练数据。在 Qwen2.5、Llama-3 和 Qwen3 上，Legible 在 MQuAKE 两跳诅咒问题上的组合成功率超过模型自身知识，桥接准确率达 CaKE 的 1.8-2.6 倍，并在 RippleEdits 及 14B 规模上解除该诅咒。
正文 · AI 翻译
摘要：一个通过微调学习新事实的语言模型能够复述该事实，却无法用它进行推理：即使被告知某人是某个新国家的公民，在没有思维链的情况下，它仍然说不出这个人的国家的元首是谁。这种两跳诅咒被广泛视为一种推理缺陷，而最强的知识编辑器用合成的推理数据来应对它。我们表明，推理能力完好无损，问题出在写入方式上。微调把新事实写成一个可供说出的答案，而第二跳从中间层开始就把桥接短语（“那个人的国家”）当作一个实体来读取：在这些层把模型自身对该实体的表示修补进桥接短语，就能在很大程度上恢复第二跳，然而在微调之后，桥接短语与新实体的接近程度并不比编辑前更高。因此我们提出读等价写入（Legible）：一个损失项使桥接短语在第二跳完成读取它的那一层，与模型自身对新实体的读取相匹配，并保持同一关系的其他主语不变。短语和目标均来自被编辑的模型本身，且不使用任何多跳训练数据。在 Qwen2.5、Llama-3 和 Qwen3 上，Legible（I）在 MQuAKE 的两跳诅咒问题上，比模型组合自身知识更频繁地组合所学事实；（II）桥接准确率达到 CaKE 的 1.8-2.6 倍，而 CaKE 的推理数据组合效果并不优于普通微调，并且在组合、准确率和局部性三项指标上，对四类写入方法均取得最佳平均值；（III）在 RippleEdits 上、在命名该诅咒的 Balesni 等人的基准上，以及在 14B 规模上，解除了该诅咒。
| 评论： | 16 页，4 幅图，15 张表 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.01519 [cs.CL] |
| （或 arXiv:2611.01519v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.01519 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Zhiyun Shi [查看邮箱]
[v1]
2026 年 11 月 1 日周日 03:52:31 UTC（1,156 KB）
[v2]
2026 年 11 月 3 日周二 13:09:26 UTC（1,161 KB）
来源：arXiv cs.CL · arxiv.org