arXiv cs.CL· Veronika Solopova, Ivan Havlytskyi, Viktoria Skorik, Ostap Vykhopen·· 6 天前AI 评分24
GeopoliticalQA：面向情报报告的检索与生成基准
GeopoliticalQA: Benchmarking Retrieval and Generation over Intelligence Reports
AI 导读
研究者发布 GeopoliticalQA 基准，覆盖 415 份开源地缘政治与战略情报报告、5,525 条文档锚定问答对，涵盖事实、推断、比较和风险四类问题。评测 15 个检索系统和 6 个开放权重 LLM 后发现，文档级检索表现相近，但在更难的 chunk 级检索上，中等规模开源编码器 bge-m3 可匹敌大其一个数量级的模型并优于商业 embedding API。
正文 · AI 翻译
摘要：地缘政治与战略情报报告是专家知识的丰富来源，在当前政治环境下价值日益提升，但其异质性和分析复杂性给检索增强问答带来了挑战。我们提出了一个基于 415 份开源地缘政治与战略情报报告的接地问答基准，包含 5,525 个基于文档的问答对，涵盖事实型、推断型、比较型和风险导向型问题。我们提出了一种文档感知的生成流程，在生成问题之前先对报告进行画像，并通过专家标注和 LLM-as-judge 协议验证数据集质量。利用该基准，我们评估了 15 个检索系统和六个开放权重 LLM 用于 RAG。我们发现，模型在文档级检索上表现相似，而在更难的块级检索上，检索质量并非由嵌入模型规模驱动：中等规模的开源编码器 bge-m3 与规模大一个数量级的模型相当，并优于商业嵌入 API。相比之下，即使给定黄金证据，答案生成仍然具有挑战性，尤其是对于推断型和风险导向型问题。
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.12617 [cs.CL] |
| （或 arXiv:2610.12617v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12617 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Veronika Solopova [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 18:35:13 UTC（67 KB）
来源：arXiv cs.CL · arxiv.org