arXiv cs.AI· Chaemin Jang, Jihee Kim, Dongman Lee·· 3 天前AI 评分27
学习事实不等于学会检索：请求形式经验与上下文状态如何影响事实检索
Learning a Fact Is Not Learning How to Retrieve It
AI 导读
研究发现，模型学会一个事实并不等于学会如何检索它：在请求形式训练阶段见过同一事实五种表述的模型，与只见过陈述句的模型，在后续相同的新事实训练后，从陈述句检索新事实的表现几乎相同，但在其他请求形式上差异显著。作者将答案前的隐藏状态称为上下文状态，五种形式训练的模型对同一事实的不同请求形式会产生更相似的上下文状态；在检索时改变该状态可启用或阻止已学事实的检索，且该效应可跨事实与事实关系迁移。
正文 · AI 翻译
摘要：一个在“X 的首都是 Y”上训练的模型，在“X 的首都是”之后可能生成“Y”，但在“X 的首都：”之后却会失败。我们把这种引出同一事实的不同方式称为请求形式。为了将学习事实与检索事实区分开来，我们分两个阶段训练两个模型。在第一阶段（请求形式训练），一个模型以五种形式看到每个事实，另一个模型只以陈述句形式看到相同的事实。在第二阶段（目标事实训练），两者都在新事实上接受相同的训练，全部以陈述句形式。之后两者从陈述句中检索新事实的表现几乎同样好，但在其他请求形式上差异显著。因此，模型可以在学习事实之前就学会如何通过某种请求形式进行检索。为了理解这种差异，我们考察答案之前的隐藏状态，我们称之为上下文状态。当对同一事实给出两种不同的请求形式时，在第一阶段以五种形式训练的模型比仅以陈述句训练的模型产生更相似的上下文状态。在检索时改变这一状态可以启用或阻止对已学习事实的检索，而且这种效应可以在事实和事实关系（如首都和货币）之间迁移。为了测试其在学习过程中的作用，我们仅在目标事实训练期间改变上下文状态。这种干预改变了之后的检索，而无需在测试时进行干预。总之，这些结果表明，之后的检索取决于早期的请求形式经验以及事实学习期间的上下文状态。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.03251 [cs.AI] |
| （或 arXiv:2610.03251v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.03251 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chaemin Jang [查看电子邮件]
[v1]
2026年10月2日星期五 12:59:19 UTC（1,221 KB）
[v2]
2026年10月10日星期六 21:13:22 UTC（93 KB）
来源：arXiv cs.AI · arxiv.org