arXiv cs.CL· Wenliang Liang, Zhiyuan Ning, Haolin Chen, Yuanchun Zhou, Wenjuan Cui, Yi Du·· 10 小时前AI 评分31
ProSearch：实验科学中多约束协议检索的基准测试
ProSearch: Benchmarking Multi-Constraint Protocol Retrieval in Experimental Science
AI 导读
ProSearch 是面向实验科学的多约束协议检索基准，覆盖 6 个实验科学领域、60 个实验领域及其依赖关系，共含 1,515 条查询，每条查询带 3-5 个显式约束（含数值与否定约束）。在 19 个代表性检索器上评测，最佳检索器平均 nDCG@10 仅 0.290，加入重排序后提升至 0.474。结构化诊断分析显示显式约束匹配是强排序信号，联合约束绑定是主要瓶颈。
正文 · AI 翻译
摘要：在 AI for Science 场景中，实验设计与方法复现需要检索满足多个相互依赖约束的实验方案，而现有基准缺乏对这一能力的系统性评估。为填补这一空白，我们提出了 ProSearch，一个面向实验科学中多约束方案检索的基准。ProSearch 具有三个关键特征：（1）真实性，查询基于真实实验记录和专家定义的模板；（2）复杂性，涵盖 60 个实验领域及其依赖关系；（3）诊断性，每个查询包含 3-5 个显式约束，包括数值约束和否定约束。我们通过基于 LLM 的抽取、数据驱动的约束选择、受控查询生成和基于证据的相关性验证来构建 ProSearch。最终基准包含跨六个实验科学领域的 1,515 个查询。我们在 ProSearch 上使用 19 个代表性检索器进行了大量实验和补充分析。表现最佳的检索器平均 nDCG@10 仅为 0.290，经重排序后提升至 0.474。结构化诊断分析表明，显式约束匹配提供了强排序信号，而人工错误分析识别出联合约束绑定是关键瓶颈。ProSearch 为系统评估科学检索系统提供了测试平台。
| 评论： | 被 NeurIPS 2026（评估与数据集 Track）接收。48 页，4 张图。Wenliang Liang 和 Zhiyuan Ning 贡献相同。代码：此 https URL。数据：此 https URL |
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41396 [cs.IR] |
| （或 arXiv:2610.41396v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41396 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhiyuan Ning [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 08:06:24 UTC（245 KB）
来源：arXiv cs.CL · arxiv.org