arXiv cs.CL· Mohammed Saqlain·· 12 小时前AI 评分52
真实 PMID 却对应错误论文：生物医学论断验证智能体的 harness 设计
Real PMIDs, Wrong Papers: Harness Design for Biomedical Claim-Verification Agents
AI 导读
研究者在 SciFact 生物医学论断验证任务上，以实时 PubMed API 为唯一工具，对四种 harness 做受控消融。单次检索仅找到 6% 的 gold 论文，让模型自行写查询把 gold 召回率提高到三倍，最佳准确率为 62%；给定 gold 摘要后同一模型可达 79-86%，说明检索而非推理是主要瓶颈。
正文 · AI 翻译
摘要：文献检索语言智能体正成为生命科学科研助手的标准组件，但关于其框架中哪些部分真正重要，目前缺乏受控证据。我们以实时 PubMed API 作为唯一工具，对生物医学论断验证（SciFact）进行受控消融实验。在固定骨干模型和输出格式的前提下，我们比较了四种框架：闭卷作答、以论断为查询的单次检索、自行编写 PubMed 查询的 ReAct 风格智能体，以及给定金标准摘要的 oracle，每种框架搭配两个高效前沿骨干模型。朴素单次检索仅能为 6% 的论断找到金标准论文，且只是把过度自信的错误转化为弃答，并未提升准确率。让模型自行构造查询可使金标准召回率提升至三倍，并给出最佳判定（准确率 62%，其他现实框架为 49-59%），不过这些差异在我们的样本量下并不显著，且智能体只使用了不到一半的搜索预算。在给定金标准摘要时，相同模型达到 79-86% 的准确率，这一 17-24 个百分点的显著差距表明，检索而非推理才是主要瓶颈。最后，引用审计显示，闭卷模型引用的 PubMed ID 几乎总是存在（327/335），但几乎从不相关：一个跨家族 LLM 评判器仅将 327 条存在的引用中的 3 条评为与论断相关，而搜索智能体产生的引用相关率为 67%。因此，存在性检查不足以作为科学智能体的保障措施。我们在 此 https URL 发布代码、提示词及所有缓存的工具调用。
| 评论： | 被 NeurIPS 2026 的 Agentic AI for Biological Discovery（AgenticLS）研讨会接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.29812 [cs.AI] |
| （或 arXiv:2610.29812v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29812 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammed Saqlain [查看邮箱]
[v1]
2026年10月21日星期三 14:35:56 UTC（27 KB）
来源：arXiv cs.CL · arxiv.org