arXiv cs.AI· Alexander Detkov, Dashiel Karish, Matthew Oleynikov, Matt Thomson·· 1 天前AI 评分40
ImplicitHop：评估 LLM 跨上下文与记忆的知识整合能力
ImplicitHop: Evaluating knowledge integration across context and memory
AI 导读
研究者提出 ImplicitHop，包含两个自然语言基准——一个形式化图基准和一个基于真实知识图谱的知识组合基准，用于按推理深度大规模评估 LLM 的演绎推理。在无思维链条件下测试多个开源模型发现，预训练权重中的知识与上下文内知识的准确率都随组合长度增加而急剧下降，但上下文内信息的表现显著优于权重内编码的信息。
正文 · AI 翻译
摘要：整合新信息并推导其后果的能力，是大型语言模型（LLM）学习、理解与推理的核心。无论信息是在训练期间还是在上下文中到达，模型不仅必须存储局部事实，还必须将其长程影响全局传播。为探索 LLM 中的信息整合，我们引入了两个互补的自然语言基准，用于按推理深度对演绎推理进行大规模评估。第一个是形式图基准，可对多种图拓扑和整合任务进行受控评估；第二个是基于真实世界知识图谱的知识组合基准。我们使用这些基准来比较来自上下文编码信息与预训练期间模型权重编码信息的知识整合，对一组开放模型进行隐式评估，不使用思维链。我们发现，对于预训练知识和上下文知识，准确率都会随着组合长度的增加而急剧下降。然而，上下文中呈现的信息在推理上显著优于对权重中编码信息的推理。这些结果量化了当前模型的一个根本局限，对基于提示的智能体行为控制和持续学习策略具有直接影响，并为开发支持更深层推理的训练、提示和整合方法提供了基础。
| 评论： | 6 页，2 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41169 [cs.AI] |
| （或 arXiv:2610.41169v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41169 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alexander Detkov [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 02:44:51 UTC（75 KB）
来源：arXiv cs.AI · arxiv.org