RadarAI· X：Philipp Schmid（Google DeepMind 开发者体验） (@_philschmid)·· 2 天前AI 评分60
Google DeepMind 与 Artificial Analysis 联合发布 MKA 智能体知识工作基准
AI 导读
Google DeepMind 的 Philipp Schmid 宣布与 Artificial Analysis 联合推出 MKA（Multimodal Knowledge Agent）基准，用于评测智能体在视觉复杂文件上的知识工作。
正文 · AI 翻译
Philipp Schmid· @_philschmid · X·2026-11-11 06:25· 2 小时前AI 评分54
AI 导读
Philipp Schmid 宣布与 Artificial Analysis 联合推出 MKA（Multimodal Knowledge Agent）基准，评测智能体在视觉复杂文件上的知识工作。
正文 · 原文
评估是任何前沿进展的支柱。今天我们与 @ArtificialAnlys 共同推出 MKA（Multimodal Knowledge Agent），这是一个用于评测智能体在视觉复杂文件上开展知识工作的基准。
- 200 项任务，覆盖 10 个垂直领域和 83 种职业，由领域专家撰写
- 每项任务需要资深专业人士花费 3 到 8 小时
- 每项任务约 70 项是/否评分检查，权重为 75% 事实准确性和 25% 视觉设计
- 每个模型都在相同的测试框架（Stirrup）中运行，使用相同的工具、沙箱和轮次预算
- 200 项任务由 Artificial Analysis 保密，因此不会泄露到训练数据中
- @huggingface 上有 10 项公开任务 🤗
Gemini 4 Carbon 在质量上排名第 2，落后 Claude Fable 5.2 三分，每项任务成本为 6.29 美元，而后者为 31.97 美元。
博客：blog.google/innovation-and-ai…
结果：artificialanalysis.ai/evaluat…
来源：Philipp Schmid · x.com
来源：RadarAI · aihot.news