arXiv cs.AI· Nan Huang, Mario Tapia-Pacheco, Kun Zhou, Yiming Huang, Kevin Jos\'e Barrientos D\'iaz, Tiffany Amariuta, Jingbo Shang·· 14 小时前AI 评分38
DISCERN 基准：AI 智能体能像科学家一样工作并引导发现吗？
DISCERN: Can AI Agents Work Like Scientists and Guide Discovery?
AI 导读
研究团队推出 DISCERN 基准，基于真实公开数据集评估 AI 智能体自动化科研流程的三个层级：数据完整性、分析验证与假设生成。在 203 项任务、8 个生命科学赛道和 8 个模型上，智能体仅在 60.8% 的 Level 1、34.2% 的 Level 2 和 0.6% 的 Level 3 评估中拿到满分。结果表明当前智能体尚不具备可靠的自主分析与发现能力，但可定位监督式科研辅助的机会。
正文 · AI 翻译
摘要：可靠的自动化研究要求智能体审查数据、验证分析，并基于可信证据生成假设，这有可能减少常规科学工作量，同时让科学家专注于解读与发现。现有基准往往只单独评估分析任务完成情况或假设生成，而不是检验可靠证据是否支持有效且新颖的主张。我们推出 DISCERN（数据完整性与科学能力：证据、推理与新颖性），这是一个基于真实、公开可用数据集的受控基准，用于评估自动化研究工作流程的三个关键层级。前两个层级测试混杂因素和工具陷阱下的数据完整性与分析验证，第三个层级测试对抗性评审下的假设生成与修订，包括反事实案例，即与真实数据和已记录科学现象一致的证据与既有预期相冲突，从而促使提出替代解释和可检验假设。在 203 项任务、八个生命科学赛道和八个模型中，DISCERN 表明强劲的总体表现可能掩盖特定层级的弱点。智能体仅在 60.8% 的一级评估、34.2% 的二级评估和 0.6% 的三级评估中获得满分，扣分原因包括拒绝可靠数据、未能将已识别局限纳入结论，以及假设产出差异很大。按 token 和代码使用量进行的跨赛道排名比按证据判断进行的排名稳定得多，这表明计算投入的一致性高于基于证据的推理的一致性。这些画像指出了监督式科学辅助的机会，但当前智能体尚未展示出可靠的自主分析或发现能力。代码与数据：此 https URL
| 评论： | 项目网站：此 https URL。已更新，加入项目网站和计划中的生命科学验证评估 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.33357 [cs.AI] |
| （或此版本的 arXiv:2609.33357v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.33357 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Mario Tapia-Pacheco [查看电子邮件]
[v1]
2026年9月27日周日 08:29:32 UTC（1,564 KB）
[v2]
2026年10月26日周一 05:50:43 UTC（1,564 KB）
来源：arXiv cs.AI · arxiv.org