arXiv cs.CL· Ayana Niwa, Masahiro Kaneko, Kentaro Inui·· 10 小时前AI 评分31
语言模型如何将时间锚点整合进事实回忆：基于四个开源权重模型的因果干预研究
Tracing How Language Models Integrate Temporal Anchors into Factual Recall
AI 导读
研究提出"锚定事实回忆"框架，要求模型根据显式条件（锚点）在多个候选对象中选择符合条件的事实，并对四个开源权重模型进行因果干预实验。研究发现两条并行路径：主体中介路径中锚点将最终主体token表示解析到所查询年份，关系再通过注意力头重新分配该状态的读出；直接路径中最终位置直接关注锚点，由上层MLP将信号转化为对时间适配对象的偏好。
正文 · AI 翻译
摘要：语言模型中的事实回忆通常被界定为检索一个事实关联：一个主语—关系对映射到单个宾语。然而，许多事实是依赖上下文的：同一个对会根据诸如时间之类的条件映射到不同的宾语。我们引入锚定事实回忆，其中模型接收一个显式的条件表达式，即锚点，并且必须选择在该锚点下有效的宾语。这提出了单宾语回忆不会涉及的问题：锚点在哪里进入计算、它改变了什么，以及这种改变如何选出答案。聚焦于时间锚点，我们通过对四个开放权重模型在英文提示上进行因果干预来回答这些问题，并识别出两条路径。在主语介导路径中，锚点将最终的主语词元表示解析为所查询的年份，而关系则将该状态的读出重新分配到各个注意力头。在直接路径中，最终位置关注锚点，上层 MLP 将该信号转化为对时间上合适的宾语的偏好。这两条路径是并行的通道：它们的贡献相加，大多数查询会同时使用两者，并且它们的平衡取决于查询，例如取决于关系，且在各模型间保持一致。这将事实回忆的机制性解释从检索单个存储的宾语重新界定为在依赖上下文的备选项中进行选择。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01945 [cs.CL] |
| （或 arXiv:2611.01945v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01945 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ayana Niwa [查看电子邮件]
[v1]
2026年11月1日星期日 14:26:38 UTC（1,678 KB）
来源：arXiv cs.CL · arxiv.org