SciRerankBench:面向科学检索增强生成的 reranker 基准测试
SciRerankBench 是首个专门评估 RAG-LLMs 系统中 reranker 的基准,覆盖五个科学学科。
SciRerankBench 是首个专门评估 RAG-LLMs 系统中 reranker 的基准,覆盖五个科学学科。
开源 Python 工具 SCANAR 与 AIDOC 可加速医疗健康领域的 Horizon Scanning。SCANAR 自动完成新闻文章检索与处理,结合去重和无监督相关性排序;AIDOC 借助大语言模型与文本嵌入计算语义相似度,按相关性重排数据。
一项综述对医疗临床任务中的开放 LLM 与 AI 基础模型进行梳理与分类,并在个性化处方任务上实测开放权重模型。在 100 个合成患者档案上,开放权重模型未用 RAG 时整体适用性准确率达 0.810–0.850,高于专有基线 0.780,但置信区间重叠;加入 RAG 后所有模型均提升,排名差距缩小至 0.04 以内。
研究者提出 CPW-Drive,一个闭环 RAG 框架,将中国儒家思想提炼的价值原则与场景案例结合,为自动驾驶决策提供可检索的价值引导,并提出物理感知空间相似度检索(PSSR)方法。
ScholarSeed AI 团队提出 ScholarStack,将论文集合编译为可复用、带版本与溯源信息的三层研究资产:论文级陈述、领域级组织和跨论文证据综合。在覆盖十种任务设置的四个任务族中,使用该资产的智能体在跨论文证据类任务(如多论文问答与文献综述生成)上质量提升,且所有测量任务的查询时 token 成本均下降。
研究者提出基于 LLM 的检索系统 STAIR,利用语料库的全局结构(如目录 ToC)来存储和检索信息,在自建基准 SearchTome 上取得 82.6% 的 Recall@1,高于 DSI 的 76.9%、BM25 的 59.5%、DPR 的 68.7% 和开箱即用的 Mistral 的 13.8%。
研究者提出 Decoupled Search Grounding(DSG),通过 MCP 兼容网关把搜索接地移出推理模型,将供应商路由、来源感知上下文渲染、检索深度控制与缓存变为可调接口。在 SimpleQA 上 DSG 准确率 86.1%(原生搜索 87.7%),搜索成本降低 91%,热缓存命中率 99.4%、延迟降低 68%;在电商 QIU 负载上准确率持平原生搜索,搜索成本降低超 98%。
研究者提出 Cite Pretrain 方法,让 LLM 无需推理时检索即可引用其(持续)预训练中的文档,并推出 CitePretrainBench 基准,涵盖 Wikipedia、Common Crawl、arXiv 及未见文档。
研究者提出直接知识图谱交互(DKGI),让语言模型 Agent 直接在完整的节点与边文件上编写 Python 代码创建图谱访问工具,并将执行与 shell 搜索、文件检查交错进行。
研究比较了五种离线图嵌入变换及图修改嵌入与原始嵌入的搭配策略,无需查询时访问图。在合成职业网络基准上,直接替换原始嵌入会降低证据召回,而多阶段策略用图修改嵌入引导搜索、保留原始嵌入维持语义相关性,在需要关联事实或候选比较的问题上召回率相对纯向量检索最高提升 25.9%,并以少 40% 的返回节点数达到基线召回。检索表现更取决于图修改嵌入的使用方式,而非生成方式。
针对 VLM 逐页解析长文档时标题层级缺乏文档级一致性的问题,研究者提出一种基于 VLM 的框架,通过分层多模态记忆增量重建标题层级,该记忆按锚点保留此前处理页面的紧凑子集,并选取每层最新节点供模型观察各层级标题的视觉、文本与布局模式。
EneMonIE-Backend 将原 EneMonIE 概念流程重构为模块化、可执行且与应用无关的后端,分离数据源、采集与规范化、语义处理、知识组织、持久化五层。
微信提出统一生成式检索框架 WeGR,由 CoCo-VAE 分词器与 DHPO 策略优化两部分组成,前者引入查询-物品和物品-物品协同信号并通过码本刷新缓解码本坍缩,后者逐步扩展奖励评估与策略优化视野以缓解精确 SID 匹配下的奖励稀疏。
ARMED 是一个自适应临床 RAG 框架,可根据检索充分性和当次就诊相关性动态扩展检索,在证据不足时选择性执行补充或回退多查询检索。该框架引入相关性门控,仅激活临床相关的同一患者病史,并将证据组织为结构化的查询级临床证据。在 MIMIC-IV 上的实验表明,ARMED 持续优于此前的静态检索基线,并提升药物推荐质量;它结合本地可运行的小语言模型,无需依赖外部语言模型 API 或任务特定微调。
研究者提出 OT-FlowRec,一个最优传输引导的多桥流匹配框架,通过构建并行的兴趣专属传输流显式建模多中心兴趣分布,实现多模态序列推荐中的兴趣解耦。该方法还设计了几何传输机制与渐进式时间采样预热策略,在三个公开数据集上超越现有 SOTA 基线。
AutoSec-RAN 通过两阶段 LoRA 微调 Mistral-7B-Instruct,并选择性结合 RAG 检索,实现 O-RAN 测试的自动化安全分析。
SYNTRA 是一种检索数据合成方法,通过自改进循环利用试验输出反馈迭代优化可复用的合成指令,仅需无标注语料和少量相关查询-文档对。在覆盖 15 个领域的 24 个检索数据集上,合成数据提升了多个强嵌入模型的表现;自改进在全部 6 项评测任务上改善检索,其中 4 项超过人工校准,MS MARCO 上训练数据扩至初始规模 32 倍时性能持续提升。
针对结构化知识检索中预定义查询-规则监督难以获取的问题,研究者提出 CoRE,让路由智能体为每个查询选择推理规则,对应检索器再在该规则约束下遍历知识库并排序证据。CoRE 交替使用强化学习训练路由策略、对比学习训练规则约束检索器,形成无需显式查询-规则标注的闭环协同。在 STaRK-QA 的科学发现、生物医学推理和电商知识管理数据集上,实验与消融验证了协同自适应的有效性,生成式路由可跨数据集迁移。
一项大规模实证研究分析了来自 10 个 RAG 系统的 654 个真实配置问题,首次系统梳理了其症状、根因、相关阶段与修复模式。研究发现多数症状出现在流水线早期或晚期,而根因所在阶段未必与症状被发现的阶段一致。论文还给出 9 条可操作建议,帮助从业者测试、定位和修复 RAG 配置问题。
针对智能体构建的知识图谱在源被撤回或撤销后难以维护的问题,PolyGraph 要求构建器在生成每个产物时附带“收据”,即声称各自充分的替代源证据包,清理时仅需对收据做集合运算,无需调用模型。在真实撤回场景下,现有流水线仅将受污染查询从 32.2% 降至 28.0%,而按句生成收据的摘要层可将受污染查询降至 0.4% 至 0.8%,同时保留完美维护者 99.8% 至 100% 的召回率。
研究在 RLBench 操作基准的自然语言指令中考察参考描述措辞对任务检索的影响,从 62 个公开任务文件提取 296 条固定描述,在 80 组随机索引描述下比较五种免训练词汇排序器。
VL-DocIR 是一个面向视觉长文档检索的页面级基准,由 Wikipedia、arXiv、PubMed 和 SEC 代理声明的 29,641 篇 HTML 文档渲染为 388,548 张页面图像,包含 23 个领域、271,760 条查询和六种证据结构。
一项研究提出 ArXivDoc 基准,基于科学论文的 LaTeX 源码构建,用于比较文本、图像与多模态表示在科学文档检索中的效果。结果显示,文档即图像表示持续表现次优,且随文档长度增加更明显;纯文本表示最有效,即使面对图表类查询也能借助图注和上下文取得优势;交错文本+图像表示无需专门训练即可超越文档即图像方法。
研究者提出 SynthKGQA,一个由 LLM 驱动的框架,可从任意知识图谱生成高质量知识图谱问答数据集,并提供完整的真值事实集合。基于 Wikidata 衍生的 ogbl-wikikg2 构建的 GTSQA 数据集,专门测试对未见图结构和关系类型的零样本泛化能力。实验显示,在 GTSQA 上训练的 KG 检索器可迁移到人工标注基准,且其真值子图比以往启发式方法提供更好的训练监督信号。
研究者提出 RATIO 基准,将科学文献检索的相关性定义为三种"构思操作":Address 检索解决既定问题的方法、Broaden 检索更通用的表述、Specify 检索具体实例。该基准基于数百万篇 CS 全文论文构建,通过扩展话语标记远程监督并结合 LLM 与人工审核完成。实验显示,针对操作分别微调可显著提升检索器,LLM 重排序也有帮助,但仍有较大提升空间;数据、代码、模型与标注均已开源。
ANCHOR-RE 是一个无需任务特定微调的智能体生物医学关系抽取框架,融合检索示例、本体语义约束、外部生物医学知识与错误驱动验证。在 SemRepGS、DDI、ChemProt 上,其 micro-F1 较直接提示分别从 0.654 提升至 0.676、0.769 至 0.881、0.937 至 0.941,DDI 与 ChemProt 上超越此前仅推理方法。
研究者提出 SLKR(Semantic Label Knowledge Retrieval),一种标签中心的检索增强生成框架,将离线知识构建与轻量在线推理分离:旗舰 LLM 离线为标签空间生成定义、检索关键词和易混淆标签对的边界规则,在线由轻量 LLM 单次调用完成分类。
研究发现 RAG 在大型异构文档集上会出现"向量搜索稀释":语料从 54 篇增至 1,128 篇时,precision@10 下降 63%,答案所在文档的召回率下降 23%。
ConRAG 是一个共识驱动证据流框架,通过多视角共识排序筛选相关证据,并用槽位机制在依赖的推理步骤间传递中间信息,以提升 LLM 的多跳问答表现。在三个多跳 QA 基准上,ConRAG 在 Gemma-4-31B-it 上平均分超出最强基线 5.8 分,端到端运行时间和 token 消耗分别降低 75.9% 和 67.3%。
Eigen-Agent 在 Humanity's Last Exam Bio/Chem Gold 上达到 48.3% 准确率,超过最强智能体基线 13.4 分、领先前沿 LLM 最多 18.1 分,同时减少 53.5% token 用量和 43.7% 智能体步骤。
研究者提出 Prolog-Initialized Chain-of-Thought(π-CoT),将多跳问题改写为 Prolog 查询并拆解为单跳子查询,依次求解产生中间结果,再用其初始化后续 CoT 推理。在多跳问答基准上,π-CoT 匹配或超越标准 RAG 与上下文内 CoT,在检索能提供必要证据的问题上提升最大。
MemPursuit 是一种免训练机制,将长期记忆的读取视为查询条件下的证据组合,用稀疏凸查询重建的残差作为表示空间中"当前记忆集缺失什么"的代理,无需语言模型或 cross-encoder 逐对打分。在 LoCoMo 固定预算实验中,Top-10 端到端准确率提升 7.2 个百分点、Top-20 提升 5.5 个百分点,重排序延迟中位数较全批量 BGE-v2-m3 提速 32.9 倍。
MemeLogos 是一个知识驱动的检索增强推理框架,用于有害模因检测,通过将反复出现的有害模式与推理结构抽象为可复用知识单元,并组织成星形知识图谱。该框架结合结构化知识检索与受认知机制启发的显式多阶段推理过程,以检索到的知识引导有害性推理。实验表明,MemeLogos 在检测性能上持续优于现有有害模因检测方法,并生成更连贯、可解释的推理过程。
CoverSynth 是一种从无标注语料出发、以覆盖检索需求和系统能力为目标的检索评估集生成器,通过确定性检查定位证据引文、模型检查评估语义有效性来保证 ground truth 可靠。
针对 LLM 结合 RAG 做可穿戴传感器人类活动识别时在线推理候选与知识开销随活动词表增长的问题,研究者提出 CHEAR,将知识组织部分转移到离线:从跨受试者反复出现的检索错误中构建并验证活动层级,并建立活动对知识。
OntoAR-HAR 是一个本体引导的智能体 RAG 框架,结合静态群体知识与个性化记忆,用于基于传感器的人类活动识别。其树状活动本体将分类分解为语义相关活动间的局部决策,静态库提供节点约束示例,离线发现的可执行信号特征提供数值证据,推理时个性化库收集用户观测数据。跨被试与异构传感实验显示,分层检索与个性化记忆在多个 LLM 主干上带来互补增益,达到 SOTA 性能。
一项研究分析了 RAG 模型在南亚多语言问答任务中的表现,探讨检索增强生成相比无上下文与有上下文回答能否提升正确率,以及 RAG 对文化类与非文化类问题的增益差异。研究还考察了 RAG 对热门与冷门文化问题的不同影响,旨在提炼高性能因素以指导优化混合 RAG 系统的设计。
研究者提出 SCOUT 级联双轨检索框架,将检索性能与穷举搜索解耦:视觉轨先用轻量父检索器筛选候选池,再对候选应用更强的多向量重排器,语义轨则基于离线生成的层级页面与文档摘要提供互补信号,两者通过跨模态查询精炼融合。
研究者提出 PULSE,一种轻量级探测方法,利用模型内部表征作为步级检索控制信号:错误推理步骤的层间波动显著高于正确步骤,据此训练紧凑探针在每步完成后检测事实错误,并自适应触发检索与步骤重生成。在四个医学基准上,PULSE 定时检索的准确率与逐步穷举检索相当,同时将检索调用减少 72%,并可迁移到未见过的法律领域。
研究发现 LLM 在内部参数知识与外部上下文知识之间的选择是线性可表示的,可通过残差流中的单一方向进行控制。该方向能跨上下文格式、知识类别和数据集泛化,并可从简单事实冲突迁移到 RAG、记忆和规则遵循三类任务,在四个模型家族中一致提升模型对提示所提供信息的利用。