arXiv cs.CL· Giuliano Martinelli, Abelardo Carlos Martinez Lorenzo, Satvik Garg, Linxi Wang, Riccardo Orlando, Piriyakorn Piriyatamwong, Samuel Paul Fraiberger·· 11 小时前AI 评分42
基于嵌入向量的检索加 LLM 过滤,在 7,354 项随机试验中找回 92% 证据
Nothing Left Behind: Finding Evidence from a Large Randomized Evaluation Corpus
AI 导读
一项对比研究显示,在 7,354 项随机试验构成的语料中,传统标签检索只能找到系统综述应纳入证据的 45%,而先用文本嵌入按语义召回候选、再由语言模型筛出相关条目的方法找到 92%。该方法的单次查询成本随搜索深度上升,结果支持将广覆盖候选召回与查询特定证据过滤结合的两阶段架构。
正文 · AI 翻译
摘要:许多 AI 系统需要在一个大型集合中找到所有相关条目,然后对找到的内容进行组织。标准做法是用精选词表中的标签为每个条目打标签,并基于这些标签进行搜索。这些标签有助于组织结果,但基于标签搜索会漏掉不符合标签的条目,而且当标签过于宽泛时会返回过多结果。我们将这种方法与基于嵌入的方法进行比较:使用文本嵌入按语义找到候选条目,然后让语言模型只保留相关条目。在一个包含 7,354 项随机试验的语料库中,标签搜索找到了系统综述会纳入的证据的 45%,而新方法找到了 92%,每次查询的成本随搜索深度增加而上升。这些结果支持一种两阶段架构,将广泛的候选检索与针对查询的证据过滤相结合。
| 评论: | 7 页,3 幅图 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.36910 [cs.CL] |
| (或 arXiv:2610.36910v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.36910 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Giuliano Martinelli [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 09:40:24 UTC(1,420 KB)
来源:arXiv cs.CL · arxiv.org