arXiv cs.CL· Maayan Sharon, Tom Hope·· 3 天前AI 评分25
RATIO：科学文献中跨类型构思操作的检索基准
RATIO: A Benchmark for Retrieval Across Typed Ideation Operations in Scientific Literature
AI 导读
研究者提出 RATIO 基准，将科学文献检索的相关性定义为三种"构思操作"：Address 检索解决既定问题的方法、Broaden 检索更通用的表述、Specify 检索具体实例。该基准基于数百万篇 CS 全文论文构建，通过扩展话语标记远程监督并结合 LLM 与人工审核完成。实验显示，针对操作分别微调可显著提升检索器，LLM 重排序也有帮助，但仍有较大提升空间；数据、代码、模型与标注均已开源。
正文 · AI 翻译
摘要：检索到的科学文献可以为人类和 AI 科学家提供灵感。灵感可以采取不同形式：先前的工作可能直接提示如何解决某个问题，或在不同抽象层次上呈现方向——向外扩展为更一般的视角，或向内聚焦为具体的实现。我们提出 RATIO（Retrieval Across Typed Ideation Operations，跨类型化构思操作的检索），这是一个大规模基准，其中相关性由三种我们称为构思操作的操作来定义：Address 检索针对所述问题的潜在方法，Broaden 检索更一般的表述，Specify 检索具体的实例化。RATIO 基于数百万篇计算机科学领域的全文科学论文构建，采用一种通用方法，将话语标记远程监督——此前仅用于分类——扩展到语料库规模的检索，并结合了广泛的 LLM 和人工审核。实验表明，针对特定操作的微调显著提升了检索器，LLM 重排序也有进一步帮助，但仍有很多改进空间。对实验条件不知情的研究人员发现，微调后检索器给出的候选作为灵感更有用。RATIO 为支持基于文献的构思的检索组件提供了一个可扩展的训练和评估框架，为科学灵感检索开辟了新的研究途径。我们发布完整数据、代码、模型和标注。
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2608.27394 [cs.CL] |
| （或 arXiv:2608.27394v4 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2608.27394 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Maayan Sharon [查看邮箱]
[v1]
2026年8月27日星期四 17:24:58 UTC（2,681 KB）
[v2]
2026年8月31日星期一 15:28:22 UTC（2,683 KB）
[v3]
2026年9月1日星期二 11:22:32 UTC（2,682 KB）
[v4]
2026年10月13日星期二 19:23:07 UTC（2,598 KB）
来源：arXiv cs.CL · arxiv.org