arXiv cs.CL· Conor Igoe, Gabriel Grand, Zane Koch, Albert Bou, Eli Moss, Michaela M. Hinks, Samuel G. Rodriques, Andrew White, Siddharth Narayanan·· 10 小时前AI 评分45
语言模型能判断什么是有说服力的科学证据吗？EDB-Bio 基准发布
Do Language Models Know What Compelling Scientific Evidence Looks Like?
AI 导读
研究者推出科学推理基准 EDB-Bio，覆盖药物扰动转录组学、CRISPR 筛选和人类 GWAS 三个生物学领域，共 96k 个任务，要求模型根据已发表实验结果预测目标假设为真的概率。
正文 · AI 翻译
摘要：专家科学家擅长权衡来自多个来源的实证发现，这些来源在统计可靠性和认识论相关性上各不相同。语言模型正日益驱动自主发现系统，它们在多大程度上具备这种证据审议能力？我们推出 EDB-Bio，这是一个科学推理基准，数据取自三个生物学领域的真实世界数据：药物扰动转录组学、CRISPR 筛选和人类全基因组关联研究（GWAS）。EDB-Bio 的 96k 个片段中，每个片段都呈现一系列来自已发表研究的实验结果，并要求模型预测目标假设为真的概率。开箱即用的情况下，开放权重模型和前沿模型都表现出系统性的信心不足，其 Brier 分数与一个简单的基准率预测器相当。按照严格适当评分规则进行后训练，可显著改善校准和区分能力。这种校准在下游任务中带来回报：在顺序实验选择任务中，我们的 Ibis0 模型比最好的前沿模型效率高 2.5 倍。在整个过程中，将证据权重量化为贝叶斯因子，可以揭示模型如何随时间更新其信念、它们是否在相关性上与专家生物学家一致，以及它们在何处表现出不一致和偏差。我们的工作将校准训练和不确定性分析扩展到现实的科学预测场景，并应用于人类癌症生物学。我们发布所有代码、数据和训练好的模型。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41015 [cs.LG] |
| （或本版本的 arXiv:2610.41015v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.41015 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siddharth Narayanan [查看电子邮件]
[v1]
2026年10月29日 星期四 21:51:23 UTC（1,742 KB）
来源：arXiv cs.CL · arxiv.org