arXiv cs.CL· Mayank Kulkarni, Rakesh Vaideeswaran·· 3 天前AI 评分29
ListQA：评估大语言模型列表式事实知识检索的基准
ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models
AI 导读
研究者发布 ListQA 基准，包含 9,045 道人工校验问题（错误率 1.7%），要求 LLM 回忆多个事实并组织成 3-10 个元素的结构化列表。基准测试 34 个模型后发现，最佳标准推理模型 LLM-Judge-F1 低于 37%，提供源 Wikipedia 页面可大幅提升分数，表明模型能组织事实但难以仅凭参数检索。数据集与评估代码已开源，论文被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：许多现实世界的问题需要的不是单一事实，而是一组有组织的事实集合，然而现有的事实性知识基准几乎都只针对单一答案检索。我们提出了 ListQA，一个包含 9,045 个人工整理、交叉验证的问题的基准（审计错误率为 1.7%），要求 LLM 回忆多个事实并将其组织成 3-10 个元素的结构化列表。问题范围从扁平列表（“哪些 NCAA 球队在 2000 年至 2024 年间保持不败？”）到带有子属性的分层列表（“……他们的战绩和结果如何？”），涵盖 60 多个国家的八个类别。常青设计（明确的时间约束或历史上不可变的事实）使标准答案无需定期更新即可保持有效。在评估方面，我们将元素匹配构建为线性求和分配问题：最优二分匹配与基于 LLM 的语义评分相结合，共同捕捉事实准确性、幻觉和格式合规性。我们对 34 个模型（8 个系列，标准推理和启用思考推理共 42 种配置）进行了基准测试，发现：最佳标准推理模型得分低于 37% LLM-Judge-F1，多层面问题普遍更难，提供源维基百科页面可大幅提升得分，这证实模型能够组织事实，但仅凭参数难以检索事实。扩展分析涵盖基础检查点与指令微调检查点以及 token 效率。我们发布了数据集和评估代码。
| 评论： | 被 NeurIPS 2026 评估与数据集方向接收。项目页面：此 https URL |
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19165 [cs.AI] |
| （或 arXiv:2610.19165v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19165 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Rakesh Vaideeswaran Mahesh [查看电子邮件]
[v1]
2026年10月13日星期二 20:30:08 UTC（652 KB）
来源：arXiv cs.CL · arxiv.org