跳到正文
热点事件持续更新

生物医学声明验证智能体检索瓶颈研究

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Mohammed Saqlain 等研究者在 SciFact 生物医学论断验证任务上,以实时 PubMed API 为唯一工具,对四种智能体 harness 做受控消融。结果显示,单次检索仅找到 6% 的 gold 论文;让模型自行写查询后,gold 召回率提高到三倍,最佳准确率为 62%。 同一模型在给定 gold 摘要后准确率可达 79-86%,研究者据此认为检索而非推理是主要瓶颈。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. arXiv cs.CL
    真实 PMID 却对应错误论文:生物医学论断验证智能体的 harness 设计

    研究者在 SciFact 生物医学论断验证任务上,以实时 PubMed API 为唯一工具,对四种 harness 做受控消融。单次检索仅找到 6% 的 gold 论文,让模型自行写查询把 gold 召回率提高到三倍,最佳准确率为 62%;给定 gold 摘要后同一模型可达 79-86%,说明检索而非推理是主要瓶颈。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。