Artificial Analysis 发布 Decision Index v1.0，Jev 1.13 居决策模型之首但仍不及 Claude Haiku 5.5

Artificial Analysis· @ArtificialAnlys · X·2026-10-14 00:34· 29 分钟前AI 评分51

AI 导读

Artificial Analysis 发布 Decision Index v1.0，从知识、推理、工具调用和分类四个基准评测决策模型的能力、成本和速度。

正文

推出 Artificial Analysis Decision Index，从分类、工具调用、知识和推理方面对决策模型进行基准评测。Jev 在决策模型中领先；Claude Haiku 5.5 等语言模型仍能提供更高的准确率，但成本和延迟要高得多

决策模型提供带有相关概率的结构化答案或分类，相比使用语言模型，响应更快、成本更低。Artificial Analysis Decision Index v1.0 比较决策模型的能力、成本和速度，并与语言模型进行对比。

Artificial Analysis Decision Index v1.0 中的基准测试：

➤ AA-Omniscience-Decision：一个包含 500 个问题的私有数据集，改编自专有的 AA-Omniscience 基准，衡量决策模型的知识水平和产生幻觉的倾向

➤ HLE-MultiChoice：来自 Humanity's Last Exam 的 513 道纯文本多选题，测试决策模型的推理能力

➤ When2Call：来自 NVIDIA 的工具调用基准，测试模型能否正确决定调用工具、请求澄清、拒绝回答或直接回应，评估与智能体工作流和工具路由相关的能力

➤ WildGuardTest：一个安全基准，评估模型在有害用户请求、助手拒绝和有害响应方面的分类能力。我们使用原始 1,725 行测试数据中 835 行的子集，其中三位人工标注者在全部三个标签上均达成一致，并排除了会持续触发模型拒绝的问题

主要结果：

➤ Jev 1.13 在 Decision Index 中领先，并位于能力与成本帕累托前沿：来自 @typesafeai 的 Jev 1.13 在 Artificial Analysis Decision Index 上得分 58，领先于来自 @fastinoAI 的 GLiDE（54）和来自 @Microsoft 的 Microsoft-Decision-1（54）。来自 @perplexity_ai 的 Decider v1.1 27B 的每百万任务成本最低，为 17 美元，Microsoft-Decision-1（31 美元）和 Jev 1.13（42 美元）也位于能力与成本帕累托前沿。Celeris-1 Decision 的每任务时间最快，为 0.06 秒，比 Jev 1.13（每任务 0.13 秒）快 2 倍以上

➤ 决策模型在知识和推理任务上校准不佳：对于所选答案的几乎所有概率水平，所有决策模型的准确率都低于该概率。这一差距在 AA-Omniscience-Decision 和 HLE-MultiChoice 上最大，而大多数模型在 WildGuardTest（分类）和 When2Call（工具调用）上校准相对较好

➤ 决策模型相比语言模型具有显著的速度和成本优势，但在知识和推理方面落后：在分类和工具调用任务上，领先的决策模型表现与语言模型相当，同时速度显著更快、成本更低。然而，语言模型在知识和推理方面大幅领先。Claude Haiku 5.5（Low）在 Decision Index 上得分 61，比 Jev 1.13 高 3 分，但每任务耗时 1.4 秒，而 Jev 1.13 为 0.13 秒（慢 11 倍），每百万任务成本为 184 美元，而 Jev 1.13 为 42 美元（贵 4.4 倍）

我们将继续开发 Artificial Analysis Decision Index，帮助开发者和公司更好地理解何时以及如何使用决策模型。

来源：Artificial Analysis · x.com