研究者提出评估LLM知识整合的两个基准
热点事件观察中
研究者提出评估LLM知识整合的两个基准
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Alexander Detkov等作者提出 ImplicitHop，包含两个自然语言基准：一个形式化图基准，一个基于真实知识图谱的知识组合基准，用于按推理深度大规模评估大语言模型的演绎推理。 在无思维链条件下测试多个开源模型时，预训练权重中的知识与上下文内知识的准确率都随组合长度增加而急剧下降，但上下文内信息的表现显著优于权重内编码的信息。
AI 根据报道生成 · 51 分钟前更新
最新进展11月2日 13:00
ImplicitHop：评估 LLM 跨上下文与记忆的知识整合能力报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.AIImplicitHop：评估 LLM 跨上下文与记忆的知识整合能力
研究者提出 ImplicitHop，包含两个自然语言基准——一个形式化图基准和一个基于真实知识图谱的知识组合基准，用于按推理深度大规模评估 LLM 的演绎推理。在无思维链条件下测试多个开源模型发现，预训练权重中的知识与上下文内知识的准确率都随组合长度增加而急剧下降，但上下文内信息的表现显著优于权重内编码的信息。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。