arXiv cs.CL· Kailin Jiang, Lei Liu, Jian Xi, Hui Xu, Junlin Liu, Baochen Fu, Bin Li, Vichwang, Yu Lu, Haibo Shi·· 2 天前AI 评分22
超越相关性检索：面向评分标准的文档集选择与排序
Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking
AI 导读
针对现有检索评估只对单文档独立打分、忽略文档间冗余与互补的问题，研究者提出评估-诊断-优化框架，并构建 SetwiseEvalKit——覆盖短文本与长文本场景的三级九维文档集评估基准，含约 28K 条高质量评分标准。
正文 · AI 翻译
摘要：随着大语言模型和 AI 智能体成为搜索结果的主要消费者，文档集质量决定了下游生成的上限。然而现有评估体系仍局限于独立地对文档打分并通过 nDCG 聚合，忽视了文档间的交互（冗余、冲突、互补），也无法回答是什么使一个文档集优于另一个。为解决这些问题，我们提出了一个完整的评估-诊断-优化框架。我们设计了 SetwiseEvalKit，一个三级、九维的文档集评估基准，覆盖短文本和长文本场景，包含约 28K 条高质量评估标准。我们系统评估了 12 种重排序器：即使最佳方法也仅达到不超过 45% 的覆盖率，跨文档协调维度普遍薄弱，且没有任何单一方法在两种设置下都保持最佳性能。在此基础上，我们提出了 Rubric4Setwise，一种免训练方法，将基于标准的评估准则转化为文档集选择信号，以更少的文档和搜索轮次实现最佳的下游生成性能。它是唯一在两种场景下均保持最先进结果的方法，验证了从评估到优化闭环的有效性。
| 评论： | 项目主页：this https URL |
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2607.19747 [cs.CL] |
| （或 arXiv:2607.19747v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.19747 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Kailin Jiang [查看邮箱]
[v1]
2026年7月22日星期三 04:45:10 UTC（16,566 KB）
[v2]
2026年7月23日星期四 03:28:43 UTC（16,566 KB）
[v3]
2026年10月15日星期四 03:17:39 UTC（16,568 KB）
来源：arXiv cs.CL · arxiv.org