Artificial Analysis 发布 Decision Index v2：新增奖励校准置信度的 Decision Score

Artificial Analysis· @ArtificialAnlys · X·2026-11-09 07:51· 37 分钟前AI 评分52

AI 导读

Artificial Analysis 发布 Artificial Analysis Decision Index v2，新增奖励正确性与校准置信度的 Decision Score 头条指标，私有数据集占比从 25% 提升至 45%。

正文 · 原文

推出 Artificial Analysis Decision Index v2：全新的专有评估、更新的基准测试，以及一个奖励模型校准度的头条指标

我们发布了第二版 Artificial Analysis Decision Index，以更好地反映真实世界实用性并防范基准测试作弊。现在该指数有 45% 基于私有数据集，高于 v1 的 25%。来自 @NaceAI 的 Drex Max v1.1 在决策模型中以 73 分微弱领先，与 GLiDE v1.2（@fastinoAI）和 Mammoth 27B（@baselabs）相差不到 1 分

Decision Index v2 的更新内容：

• Decision Score：我们采用了一个新的头条指标，奖励模型同时具备正确性和校准置信度。每道题得分从 0 到 100：正确答案得分高于 50，错误答案低于 50，而对首选答案的置信度会在各自半区内移动得分
• AA-Paperclip（30%）：我们新增了一个包含 1,500 份文档的私有基准，涵盖简历、收据、发票以及 AI 和机器学习研究论文。模型对每份文档做出决策并提取事实，并作为单一决策联合评分，只有全部 15 个答案都正确才算正确
• AA-Symmetry（15%）：该测试评估模型是否会因等价问题措辞不同而改变答案。我们测试 120 道题，变体包括重排选项、交换标签和否定式是/否问题，然后衡量模型概率在这些变体间的一致性
• AA-Omniscience-Decision v1.1 和 HLE-MultiChoice v1.1（各占 15%，低于此前的 25%）：AA-Omniscience-Decision 现在将其“我不知道”选项的措辞在十种替代说法间变化。HLE-MultiChoice 增加了使用同样十种措辞拒绝作答的选项

我们还新增了 EvalSafe-ONET-AA（15%），这是我们实现 @typesafeai 的 ONET 基准的版本。我们保留了 @NVIDIAAI 的 When2Call，但在指数中的权重降低至 10%（低于此前的 25%），并因 WildGuardTest 饱和度过高而将其移除

主要结果：

• 三个决策模型在指数榜首相差不到 1 分：Nace AI 的 Drex Max v1.1 和 Fastino Labs 的 GLiDE v1.2 均得 73 分，Base Labs 的 Mammoth 27B 得 72 分
• 每 100 万任务的成本在决策模型间相差超过 60 倍：Celeris-1.1 Decision（$14）、Decider v1.2（$68）和 Drex Max v1.1（$102）位于 Decision Index 与成本帕累托前沿上，而 Clef 的成本为 $859。Token 价格并非唯一的成本驱动因素：大多数决策模型，包括 Drex Max v1.1 和 Decider v1.2，对一份文档的输入只计费一次以覆盖其所有问题，而 GLiDE v1.2 和 Decider Flash v1.2 则对每个问题都计费。这意味着 GLiDE v1.2 的成本为 $780，尽管标价仅高 33%，却比 Drex Max v1.1 高出近 8 倍
• 语言模型可以得分更高，但每任务成本和耗时也更高：Claude Haiku 5.5 (Max) 在 Decision Index v2 上得 77 分，GPT-6 Luna (Max) 得 76 分，比 Drex Max v1.1 高出约 3 分。GPT-6 Luna (Max) 每 100 万任务成本为 $1,530，而 Drex Max v1.1 为 $102（成本为其 15 倍），每任务耗时 11.34 秒，而后者为 275 毫秒（约慢 40 倍）

来源：Artificial Analysis · x.com