Artificial Analysis 与 Google DeepMind 发布 MKA 多模态知识工作基准

Artificial Analysis· @ArtificialAnlys · X·2026-11-11 02:22· 38 分钟前AI 评分47

AI 导读

Artificial Analysis 与 Google DeepMind 合作上线 Multimodal Knowledge Agent（MKA）评测，用 200 个覆盖 10 个行业的私有真实视觉任务考察智能体处理建筑图纸、工程示意图和临床扫描并产出幻灯片、表格、PDF 等交付物的能力。

正文 · 原文

我们与 Google DeepMind 合作推出了其 Multimodal Knowledge Agent（MKA）评测，这是一个面向复杂视觉文件上智能体知识工作的新基准

@GoogleDeepMind 的 MKA 是一个新基准，要求智能体审阅示意图和扫描件等视觉上复杂的项目文件，并产出幻灯片、电子表格、报告和标注图像等交付物

Multimodal Knowledge Agent（MKA）概览：

覆盖 10 个行业的 200 个私有真实视觉任务：智能体基于密集的视觉项目文件（包括建筑图纸、工程示意图和临床扫描）开展工作，产出幻灯片、电子表格、PDF、Word 文档和标注图像等交付物。与许多智能体评测不同，这些输入强调真实的视觉复杂性和领域特异性，并且是完成任务真正必需的，而非仅仅提供额外上下文
Climb vs. Regression 评分标准：每个任务都依据专家评分标准评分，平均每个任务约 70 项加权标准。标准分为“Regression”（模型应通过的基线检查）和“Climb”（旨在区分强模型的更难检查）。头条分数为 Climb WSR（加权满足率）——即 Climb 评分标准成功完成的加权比例
在 Stirrup 中由智能体评审员评测：我们在开源智能体框架 Stirrup 中运行每个任务，配备代码执行、网页搜索、网页抓取和图像查看工具（最多 250 轮），并使用 GPT-6 Luna（medium）作为智能体评审员对提交的交付物评分

MKA 主要结果：

Claude Fable 5.2 在多模态知识工作上领先：Anthropic 近期发布的 Claude Fable 5.2（max）以 57% 的 Climb WSR 领跑 MKA 排行榜，其次是 Gemini 4 Carbon（high）的 54% 和 Claude Opus 5.5（max）的 53%
在距最高分 10 分以内，每任务成本相差近 30 倍：Claude Fable 5.2 平均每任务 $31.97，是 Gemini 4 Carbon（$6.29）的 5 倍多，却只多约 2 分；约为 GPT-6.1 Sol（$1.11）的 29 倍。在 Carbon 之下，测试的四款 OpenAI 模型均位于成本-性能帕累托前沿（GPT-6 Astra、GPT-6.1 Sol、GPT-6.1 Terra 和 GPT-6 Luna），Claude Haiku 5.5 和 MiMo-V2.6-Pro 构成前沿的其余部分
没有单一模型在全部 10 个行业垂直领域领先：Claude Fable 5.2 领先五个垂直领域（软件与数据、工程、物流与测绘、商业，以及与 Claude Sonnet 5.5 并列的金融），Claude Opus 5.5（max）领先教育和建筑，Gemini 4 Argon（high）领先科学，Gemini 4 Carbon（high）领先医疗，Claude Sonnet 5.5（max）以微弱优势领先法律与政府

感谢 @GoogleDeepMind 团队构建此基准并与我们合作将其独家带到 Artificial Analysis！