跳到正文
RadarAI· X:Arena (@arena)·· 2 小时前AI 评分40

Arena 发布 Agent Arena Index 并更新智能体评测方法

AI 导读

Arena 更新智能体排行榜,推出基于超过 290 万用户会话的 Agent Arena Index 总榜,并新增 Agentic Work、Agentic Coding、Agentic Chat、Task Outcome、Steering、Tool Use 六个专项指数。

正文 · AI 翻译

Arena.ai· @arena · X·2026-11-19 02:42· 1 小时前AI 评分51

Agent Arena Index

AI 导读

Arena 更新其智能体排行榜,推出 Agent Arena Index 总榜,基于超过 290 万用户会话,并新增 Agentic Work、Agentic Coding、Agentic Chat、Task Outcome、Steering、Tool Use 等专项指数。

正文 · 原文

我们正在更新智能体排行榜,以提供更清晰的评分和更有用的智能体性能基准。

头条排行榜——Agent Arena Index——提供跨所有类型智能体工作的智能体性能整体视图,涵盖超过 290 万用户会话(且仍在增长)。我们正在推出若干聚焦特定任务领域和智能体技能的附加指数:Agentic Work、Agentic Coding、Agentic Chat、Task Outcome、Steering 和 Tool Use。Alignment Index 保持不变,作为与 Agent Arena Index 并行的衡量指标。

在本文中,我们解释自上一版 Agent Arena Leaderboard 以来我们的方法论如何演变,并描述我们今天推出的新指数。

方法论更新

我们最初的 Agent Arena 博客文章中描述的方法论在核心上保持不变。主要区别在于一种新的分数重缩放方法,使模型分数随时间更易于解读和比较。这一变化不影响排名。我们还对信号集引入了一项变化。下面我们详细说明这两项变化。

信号变化

我们正在停用 Tool Hallucination 信号,因为前沿模型现在很少犯调用不存在工具的错误。所有其他信号定义保持不变。为清晰起见,我们将 Confirmed Success 信号重命名为 Task Completion,其衡量方式不变。

新的分数缩放

我们正在引入一种新的分数缩放,使分数随时间的比较更具可解释性。与之前的 Agent Arena 方法论相比,新评分不会改变模型排名。对于固定模型 mmm,之前的方法论估计了其净改进分数:

指数

下面我们描述哪些信号和领域进入每个头条指数,以及新的领域和能力的专项指数。信号通过平均合并为单一指数,与之前一样。

Agent Arena Index

Agent Arena Index 是跨所有任务类别和性能信号的智能体性能顶层衡量指标。它使用 Task Completion、Praise vs Complaint、Steerability 和 Bash Reliability 信号,全面呈现智能体模型完成实际工作的能力。

Alignment Index

Alignment Index 衡量智能体与用户意图和目标的一致程度。它跨所有任务类别使用 Unauthorized Action、False Attribution 和 Deceptive Completion 信号。

领域和能力指数

这些新指数中的每一个都针对特定类型的任务或智能体行为提供聚焦的智能体性能视图。在我们的完整博客中查看所有指数的细分:https://arena.ai/blog/introducing-the-agent-arena-index

来源:Arena.ai · x.com

来源:RadarAI · aihot.news