Artificial Analysis 上线 VIALS-AA 生命科学视觉推理榜

Artificial Analysis· @ArtificialAnlys · X·2026-11-07 01:09· 30 分钟前AI 评分43

AI 导读

Artificial Analysis 上线 VIALS-AA 榜单，评测 Handshake AI 的 VIALS 生命科学视觉推理论文基准，161 项任务覆盖八个领域，需解读凝胶印迹、流式细胞图、质粒图谱和系统发育树等图像。

正文 · 原文

我们推出 VIALS-AA，这是 Handshake AI 的 VIALS 基准的排行榜，该基准用于生命科学与生物技术研究中的视觉推理

视觉产物是科学家分析实验并做出研究决策的核心依据，但正确解读这些产物对前沿模型而言仍是一项挑战。VIALS 的 161 项任务横跨八个领域，要求模型对凝胶印迹、流式细胞图、质粒图谱和系统发育树等产物进行推理。每项任务都要求模型解读一种产物，并得出特定的科学结论。

我们通过在我们开源的智能体测试框架 Stirrup 中把每项任务运行三次来评估模型，并配备代码执行和图像检查工具。GPT-6 Luna（medium）将每个答案与参考答案进行评分，我们报告在三次重复中均被判定为正确的任务占比（pass^3）。

主要结论：

➤ 排名前三的模型相差 3 分：来自 @GoogleDeepMind 的 Gemini 4 Carbon（high）以 64% 略微领先，紧随其后的是来自 @OpenAI 的 GPT-6 Astra（max），为 63%，以及来自 @AnthropicAI 的 Claude Opus 5.5（max with fallback），为 61%

➤ Astra 和 Sol 在每任务成本低得多的情况下取得了与 Opus 和 Sonnet 相近的分数：Claude Opus 5.5（max with fallback）平均每任务 $1.64，约为 Sol（约 $0.056）的 29 倍。这一价格差异在很大程度上由轮次使用量驱动——GPT-6 Astra（max）和 GPT-6.1 Sol（max）平均每任务约 8 轮，而 Claude Opus 5.5（max with fallback）约为 27 轮，Claude Sonnet 5.5（max with fallback）约为 25 轮

➤ 开放权重模型落后最高分约 19 分：Kimi K3.1 Pro 以 45% 在 VIALS-AA 上领跑开放权重模型，略微领先于 MiMo-V2.6-Pro 的 43%

➤ 161 项任务中有 14 项在至少一个模型上出现安全拒绝：Claude Sonnet 5.5（max with fallback）在 6 项任务上拒绝，为所有模型中最多的，且 14 项受影响任务中有一半出现了多个模型的拒绝

感谢 @joinHandshakeAI 和 VIALS 的作者创建该基准，并与我们合作将其引入 Artificial Analysis！

来源：Artificial Analysis · x.com