跳到正文
RadarAI· X:Arena (@arena)·· 2 小时前AI 评分60

Arena 发布 Agent Arena Index 智能体评测指数及六个细分指数

Arena 发布 Agent Arena Index 智能体评测指数

AI 导读

Arena 发布 Agent Arena Index 及 Agentic Work、Coding、Chat、Task Outcomes、Tool Use、Steering 六个细分指数,基于社区数百万真实任务衡量智能体表现,并同步更新 Alignment Index。

正文 · AI 翻译

Arena.ai· @arena · X·2026-11-19 02:50· 53 分钟前AI 评分54

AI 导读

Arena 发布 Agent Arena Index 及 Agentic Work、Coding、Chat、Task Outcomes、Tool Use、Steering 六个细分指数,基于社区数百万真实任务衡量智能体表现,并同步更新 Alignment Index。

正文 · 原文

今天,我们很高兴推出 Agent Arena Index,这是我们衡量智能体整体表现的全新核心指标,同时推出六个新的细分指数:Agentic Work、Coding、Chat、Task Outcomes、Tool Use 和 Steering。

这些指数与 Alignment Index 一起,全面呈现智能体在真实世界任务中的表现,从完成复杂工作流到使用工具、适应 用户反馈。

Arena 基于全球社区数百万真实任务衡量智能体表现。随着新指数的发布,我们正在更新评分,以提供更稳定、更易理解的方式来了解智能体在真实世界中的表现。

Claude Fable 5.2 (Max) 以 1463 分领先 Agent Arena Index 134 分。Agent Arena Index 排名前 5 的实验室:

  • #1 @AnthropicAI:Claude Fable 5.2 (Max) 1463 分
  • #2 @GoogleDeepMind:Gemini 4 Carbon (High) 1307 分
  • #3 @OpenAI:GPT-6 Astra (Max) 1274 分
  • #4 @AIatMeta:Muse Wonder Full (Max) 1200 分
  • #5 @Alibaba_Qwen:Qwen4-Max (xHigh) 1191 分

Agent Arena Index 综合了真实世界智能体表现的四个关键信号:

  • 任务完成:用户明确确认任务成功
  • 赞扬与投诉:用户对智能体结果的满意度
  • Bash 可靠性:智能体使用终端工具的能力
  • 可引导性:智能体响应用户纠正的能力

除能力之外,Alignment Index 基于三个关键信号衡量智能体在多大程度上忠实按照用户意图行事:欺骗性完成、未经授权的操作和错误归因。

随着智能体承担日益复杂、长周期的工作,衡量其真实世界能力和对齐程度比以往任何时候都更加重要。

在下方推文串中查看排名,了解每个指数衡量什么。

引用Arena.ai@arena

x.com/i/article/2123122245950…

在 X 查看被引用的帖子

来源:Arena.ai · x.com

来源:RadarAI · aihot.news