arXiv cs.AI· Luca Giordano, Simon Razniewski·· 3 天前AI 评分24
超越提问：评估 LLM 的陈述性知识
Beyond Questions: Evaluating the Stated Knowledge of LLMs
AI 导读
研究者提出"开放知识评估"新范式，不再依赖预设问题，而是用开放式提示词考察 LLM 主动表达的知识，并推出包含 10,000 个实体及参考语料库的基准 BeQu。基于 BeQu 的评测覆盖多种语言模型，分析了推理投入、模型规模、提示词格式和知识领域的影响，数据与排行榜已在 GitHub 发布。
正文 · AI 翻译
摘要：大型语言模型（LLM）中的参数化知识是其成功的基石，但人们对其仍知之甚少。现有的知识基准通常依赖预定义问题（例如“M.L. King 的出生日期是什么？”），仅评估基准设计者明确选择查询的知识，这是一种有问题的可得性偏差。在本文中，我们引入开放知识评估，这是一种用于基准测试 LLM 所述知识的新范式。它不问狭窄的问题，而是评估模型在开放式引导提示（例如“告诉我你所知道的关于 M.L. King 的一切”）下选择呈现的知识。这将重点从预定义答案检索转向刻画模型自然表达的知识。我们以 BeQu（Beyond Questions）实例化这一范式，这是一个包含 10,000 个实体并配有用于陈述验证的参考语料库的基准。使用 BeQu，我们评估了广泛的各类语言模型，并分析了推理努力、模型规模、提示格式和知识领域的影响。数据和排行榜可在本工作的 GitHub 仓库以及 ANONYMIZED 上获取。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.26937 [cs.CL] |
| （或使用 arXiv:2605.26937v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.26937 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Luca Giordano [查看电子邮件]
[v1]
2026年5月26日星期二 12:29:18 UTC（3,278 KB）
[v2]
2026年8月10日星期一 09:35:46 UTC（3,299 KB）
[v3]
2026年10月13日星期二 09:41:02 UTC（3,227 KB）
来源：arXiv cs.AI · arxiv.org