蛋白质结构智能体基准 ProteinGeoBench 发布
热点事件持续更新
蛋白质结构智能体基准 ProteinGeoBench 发布
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Matt Turk 等作者发布蛋白质结构智能体基准 ProteinGeoBench,用 131 个任务考察智能体查阅蛋白质结构记录事实、核对序列、从原子坐标计算几何和结构推理的能力。四个前沿模型各跑多次共 4,249 次运行,另有 26 个模型参与子集测试。 结果显示,前沿模型擅长查事实、弱于几何计算:Claude Opus 5 查事实得分 0.907,从原子坐标计算几何仅 0.716;Gemini 3.1 Pro 是唯一例外。在 12 个全部模型都失败的任务中,一半是计算题,而计算题仅占任务集的五分之一。
AI 根据报道生成 · 54 分钟前更新
最新进展11月20日 13:00
ProteinGeoBench:前沿结构生物学智能体擅长查事实,却在几何计算上失分报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AIProteinGeoBench:前沿结构生物学智能体擅长查事实,却在几何计算上失分
ProteinGeoBench 用 131 个任务评测智能体的蛋白质结构能力,四个前沿模型各跑多次共 4,249 次运行,另有 26 个模型参与子集测试。Claude Opus 5 查事实得分 0.907、从原子坐标计算几何仅 0.716,Gemini 3.1 Pro 是唯一例外;12 个全部模型失败的任务中有一半是计算题,而计算题仅占任务集的五分之一。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。