arXiv cs.AI· Anahita Sharma, Apaar Shanker, Rishav Chakravarti, Sneha Srinivasan, Vijay Kalmath, Dylan Wilbur, Yuan Li, Sara Bolouki, Yuan Xue·· 3 天前AI 评分31
CoverSynth：面向检索评估集的覆盖率引导生成方法
CoverSynth: Coverage-Guided Generation of Retrieval Evaluation Sets
AI 导读
CoverSynth 是一种从无标注语料出发、以覆盖检索需求和系统能力为目标的检索评估集生成器，通过确定性检查定位证据引文、模型检查评估语义有效性来保证 ground truth 可靠。
正文 · AI 翻译
摘要：企业级智能体需要检索评估集，以暴露特定领域的失败并引导开发者做出高效的部署权衡。无论是专家人工编写的评估集，还是当前的合成生成方法，都无法提供一种方法论来实现此类决策所需的覆盖度、可靠性、效率和区分度。同时，该领域也缺乏一个评估框架来判断评估集何时满足了这些属性。我们引入了一个针对这些标准的评估集评估框架，以及 CoverSynth——一个专为满足这些标准而设计、且无需承担人工专家标注高成本的生成器。从无标注语料库出发，CoverSynth 以覆盖检索需求和系统能力为目标。确定性检查在来源中定位证据引文，而基于模型的检查评估语义有效性以保证可靠的真实标注。在五个公开的企业风格语料库上，我们的方法提供了有信息量的难度变化，揭示了此前未见的失败模式，例如智能体无法处理表述不充分或含糊的请求。在 RepLiQA 语料库上，人工生成的查询中有 91\% 能被 12 个检索系统组成的评审团中的所有成员回答，而 CoverSynth 生成的查询中这一比例仅为 12\%。最后，在一项重复的 TechQA/RepLiQA 研究中，12 个同框架内的模型对比在生成集上有 12 个呈现正向的名义 95\% 区间，而在人工集上仅有 4 个。CoverSynth 将覆盖度和证据质量作为明确的构建目标，产生基于语料库的评估，从而揭示检索余量和智能体配置之间的差异。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15409 [cs.AI] |
| （或 arXiv:2610.15409v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15409 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Apaar Shanker [查看邮箱]
[v1]
2026年10月11日星期日 07:26:00 UTC（2,201 KB）
来源：arXiv cs.AI · arxiv.org