arXiv cs.CL· Kirill Afendulev, Alexey Dontsov, Alla Chepurova, Elena Tutubalina, Anton Korznikov·· 11 小时前AI 评分31
上下文还是知识：LLM 如何归因自己的答案
Context or Knowledge: How LLMs Attribute Their Own Answers
AI 导读
研究通过干预生成答案后、提问来源前的 KV cache，考察 LLM 如何报告答案来源。在 7B-32B 四个模型上，改动或删除文档 cache 从不改变来源报告，而移植问答（Q+A）cache 会让报告完全跟随供体。沿拟合方向操控 Q+A 值可逆转 98.9-100% 的报告，随机方向最多只翻转 1.1%。
正文 · AI 翻译
摘要：语言模型可以根据提供的文档或自身的参数化知识回答问题。当随后被问及答案来自何处时，是什么决定了它们的来源报告？我们通过在答案生成之后、来源问题被提出之前干预模型的键值（KV）缓存来研究这一问题。在一个受控的事实性任务上，使用四个模型（7B-32B），更改或移除文档的缓存从未改变报告。相比之下，在问题和答案 token 完全相同的两次运行之间移植问答（Q+A）缓存则会传递它：每个符合条件的报告都跟随供体，而受体的文档保持不变。在两个较小的模型上，沿着在任何来源问题之前拟合的方向操纵 Q+A 值，在固定强度下可在四种文档条件下逆转 98.9-100% 的报告，而范数匹配的随机方向最多只翻转 1.1%。键和值沿拟合方向的分量承载了移植效应：仅复制它们几乎可以重现报告的变化；将它们固定则几乎可以阻止这种变化。在答案生成期间应用时，相同的值方向也会改变由哪个来源提供答案，尽管效果更弱且取决于提示。因此，在此设置下的来源报告因果性地取决于回答时产生的缓存状态。我们并未确立一般的报告准确性，也未对该状态给出完整的解释。
| 评论： | 25 页，7 幅图，23 张表，包括附录 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32109 [cs.CL] |
| （或 arXiv:2610.32109v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.32109 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kirill Afendulev [查看电子邮件]
[v1]
2026年10月23日星期五 03:21:36 UTC（38 KB）
来源：arXiv cs.CL · arxiv.org