Arena 发布 Agent Arena Index 智能体评测指数及六个细分指数
Arena 发布 Agent Arena Index 智能体评测指数
Arena 发布 Agent Arena Index 及 Agentic Work、Coding、Chat、Task Outcomes、Tool Use、Steering 六个细分指数,基于社区数百万真实任务衡量智能体表现,并同步更新 Alignment Index。
Arena.ai· @arena · X·2026-11-19 02:50· 53 分钟前AI 评分54
AI 导读
Arena 发布 Agent Arena Index 及 Agentic Work、Coding、Chat、Task Outcomes、Tool Use、Steering 六个细分指数,基于社区数百万真实任务衡量智能体表现,并同步更新 Alignment Index。
正文 · 原文
今天,我们很高兴推出 Agent Arena Index,这是我们衡量智能体整体表现的全新核心指标,同时推出六个新的细分指数:Agentic Work、Coding、Chat、Task Outcomes、Tool Use 和 Steering。
这些指数与 Alignment Index 一起,全面呈现智能体在真实世界任务中的表现,从完成复杂工作流到使用工具、适应 用户反馈。
Arena 基于全球社区数百万真实任务衡量智能体表现。随着新指数的发布,我们正在更新评分,以提供更稳定、更易理解的方式来了解智能体在真实世界中的表现。
Claude Fable 5.2 (Max) 以 1463 分领先 Agent Arena Index 134 分。Agent Arena Index 排名前 5 的实验室:
- #1 @AnthropicAI:Claude Fable 5.2 (Max) 1463 分
- #2 @GoogleDeepMind:Gemini 4 Carbon (High) 1307 分
- #3 @OpenAI:GPT-6 Astra (Max) 1274 分
- #4 @AIatMeta:Muse Wonder Full (Max) 1200 分
- #5 @Alibaba_Qwen:Qwen4-Max (xHigh) 1191 分
Agent Arena Index 综合了真实世界智能体表现的四个关键信号:
- 任务完成:用户明确确认任务成功
- 赞扬与投诉:用户对智能体结果的满意度
- Bash 可靠性:智能体使用终端工具的能力
- 可引导性:智能体响应用户纠正的能力
除能力之外,Alignment Index 基于三个关键信号衡量智能体在多大程度上忠实按照用户意图行事:欺骗性完成、未经授权的操作和错误归因。
随着智能体承担日益复杂、长周期的工作,衡量其真实世界能力和对齐程度比以往任何时候都更加重要。
在下方推文串中查看排名,了解每个指数衡量什么。
在 X 查看被引用的帖子
来源:Arena.ai · x.com
来源:RadarAI · aihot.news
