跳到正文
arXiv cs.AI· Matt Turk, Brandon L. Neel, Diana M. Lopez, Zachary D. Smith, Grace N. Johnecheck, James B. Golden·· 10 小时前AI 评分38

ProteinGeoBench:前沿结构生物学智能体擅长查事实,却在几何计算上失分

ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry

AI 导读

ProteinGeoBench 用 131 个任务评测智能体的蛋白质结构能力,四个前沿模型各跑多次共 4,249 次运行,另有 26 个模型参与子集测试。Claude Opus 5 查事实得分 0.907、从原子坐标计算几何仅 0.716,Gemini 3.1 Pro 是唯一例外;12 个全部模型失败的任务中有一半是计算题,而计算题仅占任务集的五分之一。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:ProteinGeoBench 是一组包含 131 项任务的基准,向智能体提供蛋白质结构文件,要求其查阅记录的事实、检查序列、根据原子坐标计算几何结构或对结构进行推理。我们在每项任务上对四个前沿模型各运行多次(共 4,249 次运行),并在一个子集上测试了 26 个模型。单一的总体得分掩盖了两种不同的能力。四个前沿模型中有三个最擅长查阅事实,最不擅长根据坐标进行计算:Claude Opus 5 在查阅任务上得分为 0.907,在计算任务上为 0.716。Gemini 3.1 Pro 是例外。几何类任务在最难的任务中占比过高。四个模型全部失败的十二项任务中有一半是计算任务,而计算任务仅占整套基准的五分之一,且这十二项中有八项没有任何一个模型(共 26 个)解出。三个领先模型的得分差距在 0.031 以内,过于接近而难以排序,且每项任务仅运行一次时,在 24% 的 bootstrap 重采样中会有不同的模型排名第一。因此,报告应按任务类型给出得分,并说明每项任务的运行次数。报告还应说明智能体运行框架(即运行模型的软件)及其网络访问情况,因为二者都会改变得分。在一个 15 项任务的子集上,屏蔽八个结构数据库会降低得分,而移除网络访问则降得更多。将我们的运行框架替换为各提供商自有的命令行智能体后,得分变化幅度最高达 0.09,方向不定。在 26 个模型中,在其他任务上得分较高的模型在计算任务上的得分也较高。
评论: 24 页,2 幅图,10 张表。基准与任务:此 https URL
主题: 人工智能(cs.AI);机器学习(cs.LG);生物分子(q-bio.BM)
引用为: arXiv:2610.26829 [cs.AI]
  (或 arXiv:2610.26829v2 [cs.AI] 为本版本)
  https://doi.org/10.48550/arXiv.2610.26829

arXiv 颁发的 DOI(通过 DataCite)

提交历史

来自:Matthew Turk [查看邮箱]
[v1] 2026 年 10 月 19 日星期一 17:55:38 UTC(63 KB)
[v2] 2026 年 11 月 18 日星期三 02:39:21 UTC(63 KB)

来源:arXiv cs.AI · arxiv.org