跳到正文
热点事件持续更新

蛋白质结构智能体基准 ProteinGeoBench 发布

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Matt Turk 等作者发布蛋白质结构智能体基准 ProteinGeoBench,用 131 个任务考察智能体查阅蛋白质结构记录事实、核对序列、从原子坐标计算几何和结构推理的能力。四个前沿模型各跑多次共 4,249 次运行,另有 26 个模型参与子集测试。 结果显示,前沿模型擅长查事实、弱于几何计算:Claude Opus 5 查事实得分 0.907,从原子坐标计算几何仅 0.716;Gemini 3.1 Pro 是唯一例外。在 12 个全部模型都失败的任务中,一半是计算题,而计算题仅占任务集的五分之一。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    ProteinGeoBench:前沿结构生物学智能体擅长查事实,却在几何计算上失分

    ProteinGeoBench 用 131 个任务评测智能体的蛋白质结构能力,四个前沿模型各跑多次共 4,249 次运行,另有 26 个模型参与子集测试。Claude Opus 5 查事实得分 0.907、从原子坐标计算几何仅 0.716,Gemini 3.1 Pro 是唯一例外;12 个全部模型失败的任务中有一半是计算题,而计算题仅占任务集的五分之一。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。