arXiv cs.CY· Hayoung Jung, Pedro Viana Diniz, Jos\'e Reinaldo Corr\^ea Roveda, Abner Fernandes da Silva, Haeun Jung, Enoch Tsai, Aleksandra Korolova, Manoel Horta Ribeiro·· 10 小时前AI 评分58
AI 智能体能否在健康领域合成科学结论？SciConBench 给出评测
Can AI Agents Synthesize Scientific Conclusions in Health?
AI 导读
研究团队提出 SciConBench，一个包含 9.21K 问题与系统综述专家结论的大规模实时基准，用于评测健康与医学领域的开放域科学结论合成能力。在清洁室评测环境 SciConHarness 下，8 个前沿模型与深度研究智能体中表现最好的事实 F1 仅为 0.337，且清洁室设置下的成绩普遍低于无约束评测，说明数据泄漏会高估模型的真实合成能力。
正文 · AI 翻译
摘要：科学 AI 智能体越来越多地检索证据、跨来源推理，并综合出用于重要决策的结论。然而，它们在健康等高风险领域中的这种能力仍不明确。我们推出 SciConBench，这是一个大规模实时基准，包含 9.21K 个问题和来自系统综述的专家撰写结论，用于评估健康和医学领域的开放域科学结论综合能力。该基准依托一套经专家验证的自动化评估流程，将结论分解为原子事实，并通过事实精确率和召回率衡量正确性与全面性。为缓解数据泄漏，我们进一步推出 SciConHarness，这是一个洁净室评估框架，为智能体提供受控的网页交互，以确保测量有效。在评估 8 个前沿模型和深度研究智能体后，我们发现事实质量仍然偏低：在洁净室设置下，最佳智能体的事实 F1 仅为 0.337。与无约束评估相比，我们的洁净室设置持续降低性能，表明数据泄漏会高估模型真实的综合能力。最后，我们审计了面向消费者的智能体（如 Google AI Overview、OpenEvidence），发现它们经常生成不完整、有时甚至相互矛盾的结论，即使正确答案可得时也是如此。总体而言，我们的结果表明，在健康领域可靠地综合科学结论仍是一项开放挑战，而洁净室评估对于评估开放域 AI 智能体至关重要。
| 评论： | 将发表于 NeurIPS 2026（评估与数据集 Track）。论文集可用时请引用 NeurIPS 版本 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2606.11337 [cs.AI] |
| （或本版本的 arXiv:2606.11337v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2606.11337 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hayoung Jung [查看邮箱]
[v1]
2026年6月9日星期二 18:16:04 UTC（8,391 KB）
[v2]
2026年11月10日星期二 04:31:28 UTC（8,814 KB）
来源：arXiv cs.CY · arxiv.org