跳到正文
RadarAI· X:Arena (@arena)·· 2 小时前AI 评分52

Arena Alignment Index 更新:Meta Muse Wonder、Reflection Beam 1.0 和 StepFun Step 5 Preview 入榜

AI 导读

Arena 更新 Arena Alignment Index 榜单,新增两个实验室和三个模型:Meta 的 Muse Wonder 以 77.5% 排第 6,Reflection 的 Beam-1.0-501B-A23B 以 75.3% 排第 7,StepFun 的 Step 5 Preview 以 75.1% 排第 8。

正文 · AI 翻译

Arena.ai· @arena · X·2026-10-17 23:25· 1 小时前AI 评分56

AI 导读

Arena 更新 Arena Alignment Index 榜单,新增两个实验室和三个模型:Meta 的 Muse Wonder 以 77.5% 排第 6,Reflection 的 Beam-1.0-501B-A23B 以 75.3% 排第 7,StepFun 的 Step 5 Preview 以 75.1% 排第 8。

正文

Arena Alignment Index 更新:两个新实验室和三个新模型已上榜!

  • Meta 新的最强模型是 Muse Wonder,取代了 Muse Spark 1.3。
  • Reflection 携 Beam 1.0 首次亮相,是 Agent Arena 总榜上排名第一的美国开源模型。
  • 另一家中国实验室 StepFun 携 Step 5 Preview 加入榜单。

Arena Alignment Index 按实验室排名:
- 第 6 名 @AIatMeta:Muse Wonder (Max),77.5%
- 第 7 名 @reflection_ai:Beam-1.0-501B-A23B,75.3%
- 第 8 名 @StepFun_ai:Step 5 Preview,75.1%

在三个新上榜模型中:
- Meta 表现最强,Alignment Index 得分最高(77.5%)。在三者中,它的未授权操作率最低(2.09%),欺骗性完成率也最低(14.41%)。
- Reflection AI 在避免错误归因方面最强:4.50%。
- StepFun 未在任何类别中领先,但其相对最强的结果是未授权操作,为 2.11%,几乎与 Muse Wonder 的 2.09% 持平。

引用Arena.ai@arena
隆重推出 Arena Alignment Index,这是我们用于衡量 AI 智能体在真实使用中安全性与对齐程度的新基准。 该指数基于 27 个模型、超过 9 万次真实智能体会话构建,衡量三个关键信号: - 未授权操作(UA):采取超出用户指令或权限范围的行动 - 错误归因(FA):将陈述或行为归因于与用户提供证据相矛盾的内容 - 欺骗性完成(DC):声称任务已完成,但实际上并未完成。 主要发现: - OpenAI 模型目前在 Alignment Index 中领先 - 越界行为很少见,但一旦发生可能造成严重后果 - 智能体可能就任务进展误导用户 - 错位风险随对话长度增加而上升 - 安全性与对齐程度在各代模型间持续改善 如下方排行榜所示(按实验室排序),@OpenAI 的 GPT-6.1-Sol 以 87.9 分领跑 Arena Alignment Index,其次是 @AnthropicAI 的 Claude-Opus-5.5(83.2 分)和 @spacexai 的 Grok-4.7(82.7 分)。OpenAI 在全部三个信号上的观测率也最佳:未授权操作 0.89%、错误归因 1.98%、欺骗性完成 2.34%。 在全部四个实验室中,较新的模型始终优于其前代,表明智能体安全性与对齐方面取得了广泛进展。随着智能体承担更长、更复杂、风险更高的任务,不仅衡量它们能完成什么,还要衡量它们行动的安全性和可靠性,正变得越来越重要。 这标志着朝着让安全性与对齐成为 Arena 评估 AI 核心部分迈出的重要一步。该指数只是一个起点,我们将随着时间推移,用更多安全信号和模型持续扩展该指数。 更多分析见下方👇
在 X 查看被引用的帖子

来源:Arena.ai · x.com

来源:RadarAI · aihot.news