arXiv cs.CL· Avinash Holenarasipur Nagendra, Anand Kaniyaar Sriranga Prasad, Kousik Sarathy Sridharan, Mohan Raghavan·· 10 小时前AI 评分22
Dhārā Bench：面向印度知识系统的证据导向检索基准
Dh\={a}r\={a} Bench: An Evidence-Oriented Retrieval Benchmark for Indian Knowledge Systems
AI 导读
Dhārā Bench 是面向印度知识系统（IKS）的检索基准，包含 12 个类别的 325 个问题，语料为 15 个来源组的 60,121 个文本块，标注含 7,578 条问题-文本块相关性链接。
正文 · AI 翻译
摘要：Dhārā Bench 是一个面向印度知识体系（IKS）的检索基准，包含 12 个类别下的 325 个问题，以及来自 15 个来源组的 60,121 个文本块。这些类别基于提交至 Dhārā 应用的 4,500 个问题开发而成；评估集将语料对齐的应用查询与专家贡献的问题相结合。标注包含 7,578 条问题-文本块相关性链接，涉及 6,847 个不同的语料文本块。对于 34 个复合及多跳问题，401 个共轭组指定了共同支持每个问题的备选段落集合。文本块标识符和层级引用将判断结果与其源文本相连接。论文描述了语料准备、标注和验证过程，并报告了使用 Pyserini 实现的固定 BM25 基线，参数为 $k_1=0.9$ 和 $b=0.4$。在所有问题上，BM25 的 MRR@20 为 0.315，Recall@10 为 0.182，nDCG@10 为 0.205。在组标注子集上，完整证据得分为 CE_Recall@20 = 0.294 和 CE_MRR@20 = 0.141。类别结果暴露出诗歌检索尤其薄弱，而组得分则揭示了找到单个段落与完成其支持之间的差距。语料和评估代码可在 此 https URL 获取。
| 评论： | 18 页，6 幅图，9 张表。前两位作者贡献相同。代码和数据：此 https URL |
| 主题： | 信息检索（cs.IR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.03196 [cs.IR] |
| （或 arXiv:2611.03196v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.03196 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Avinash Holenarasipur Nagendra [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 14:23:39 UTC（104 KB）
来源：arXiv cs.CL · arxiv.org