arXiv cs.AI· Gideon Shaked, Siddharth Nagisetty·· 2 天前AI 评分29
OmicsBench：面向 AI 智能体的长周期多轮生物信息学基准
OmicsBench: a long-horizon multi-turn benchmark of AI agents on research-study-scale bioinformatics
AI 导读
研究者发布 OmicsBench，一个面向 AI 智能体的长周期多轮生物信息学基准，97 个任务通过有向无环图串联 662 个子任务，每个子任务对应一轮用户输入并确定性评分。
正文 · AI 翻译
摘要：计算生物学家越来越多地将大量分析工作委托给在长时程、多轮会话中运行的 AI 智能体，然而大多数针对智能体生物信息学能力的基准测试只提出一个单一简短任务，并使用单次提示。我们提出 OmicsBench，一个面向 AI 智能体的长时程、多轮生物信息学基准测试。其 97 个任务中的每一个都将相互依赖的子任务连接成一个有向无环图，总共包含 662 个底层子任务。每个子任务作为一个用户轮次提出，并依据答案键进行确定性评分，同时可对错误答案提供可选的上下文内反馈。在三种测试框架上的 12 个模型中，最慢的智能体平均每个任务耗时 3.6 小时，且没有任何组合接近使该基准测试饱和：在没有上下文内反馈时，平均得分为 0.43 至 0.57（满分为 1）；在有上下文内反馈时为 0.54 至 0.67。多轮评估还揭示了单次提示无法发现的行为，因为智能体在依赖早期子任务的子任务上得分较低，而上下文内反馈能帮助智能体挽回部分损失。由于确定性评分无法对智能体如何失败给出定性说明，我们还引入了一个无监督失败模式发现流程，用于描述、嵌入并聚类智能体的失败尝试，以揭示涌现出的失败模式。将该流程应用于 OmicsBench 后，它揭示了智能体在执行生物信息学分析时的定性缺陷，范围从智能体用自身的统计过滤器替代指定的过滤器，到智能体完全凭记忆写出答案。
| 评论： | 32 页，12 幅图 |
| 主题： | 人工智能（cs.AI）；基因组学（q-bio.GN）；定量方法（q-bio.QM） |
| 引用为： | arXiv:2610.21074 [cs.AI] |
| （或 arXiv:2610.21074v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21074 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Gideon Shaked [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 01:23:57 UTC（1,061 KB）
来源：arXiv cs.AI · arxiv.org