arXiv cs.AI· Shrestha Ghosh, Luca Giordano, Yujia Hu, Tuan-Phong Nguyen, Simon Razniewski·· 3 天前AI 评分37
对前沿 LLM 知识 KB 抽取的审计：GPTKB v1.5 的多维分析
Auditing a KB Elicitation of Frontier LLM Knowledge: A Multi-dimensional Analysis of GPTKB v1.5
AI 导读
研究者对 GPT-4.1 递归抽取的 1 亿条事实知识库 GPTKB v1.5 做了多维分析，发现其事实知识与既有知识库差异显著，准确率明显低于此前 benchmark 所显示的水平。不一致、歧义和幻觉是主要问题，研究据此指出神经符号 AI 在事实知识抽取、整合与验证上的未来方向。
正文 · AI 翻译
摘要：LLM 是卓越的产物，彻底改变了一系列知识密集型任务。一个重要的贡献因素是它们的事实知识，迄今为止，人们对其了解甚少，且通常从有偏样本中进行分析。在本文中，我们提供了一个框架，以及对 GPTKB v1.5（Hu 等，2025a）进行多维度分析的结果，这是一个递归引出的知识库（KB），包含前沿 LLM（即 GPT-4.1）的 1 亿条事实（或信念）。鉴于所引出事实的规模，我们提供了一种多维度方法，对这些事实进行定性和定量分析，而非主流的事实补全基准，后者容易产生可得性偏差。我们发现，模型的事实知识与既有知识库存在显著差异，且其准确性远低于先前基准所表明的水平。我们还发现，不一致性、歧义和幻觉是主要问题，这为神经符号 AI 在事实性 LLM 知识的提取、整合与验证方面的未来研究机会提供了启示。
| 评论： | 已被 AKBC@EMNLP 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2510.07024 [cs.CL] |
| （或 arXiv:2510.07024v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.07024 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Shrestha Ghosh [查看电子邮件]
[v1]
2025年10月8日星期三 13:48:38 UTC（114 KB）
[v2]
2025年10月9日星期四 07:23:03 UTC（114 KB）
[v3]
2026年9月18日星期五 13:29:31 UTC（105 KB）
[v4]
2026年10月13日星期二 13:17:59 UTC（105 KB）
来源：arXiv cs.AI · arxiv.org