Artificial Analysis 发布端点准确率指数 v1.1，新增 GLM-5.3 Flash 与 Meta Muse Spark Open 等六个开源权重模型

Artificial Analysis· @ArtificialAnlys · X·2026-11-06 10:44· 38 分钟前AI 评分41

AI 导读

Artificial Analysis 推出 Endpoint Accuracy Index v1.1，新增 GLM-5.3 Flash 与 Meta Muse Spark Open 等六个开源权重模型覆盖。

正文 · 原文

推出 Artificial Analysis Endpoint Accuracy Index v1.1：这是一次小版本升级，同时扩大了对 GLM-5.3 Flash 和 Muse Spark Open 的覆盖。在我们基准测试的 100 多个无服务器端点中，近四分之一得分低于参考值

提供商为了优化速度和成本而牺牲准确性。他们量化权重、编写自定义内核、调整推理栈并限制输出长度，有时还会直接引入缺陷。Endpoint Accuracy Index 衡量每个端点保留了多少模型准确性，以便开发者根据准确性而不仅仅是价格和速度来选择提供商。

我们以官方权重的自托管参考部署为基准，将每个端点按百分比评分，覆盖工具调用（BFCL-500）、科学推理（HLE-250）和长上下文召回（AA-LCR-25），权重相同。

变化内容：

➤ 将 AA-LCR-25 升级为 AA-LCR v1.1，并将重复次数从 10 次增加到 25 次：AA-LCR v1.1 修正了答案键中的错误和歧义，并将评分迁移至 GPT-5.6 Luna（medium）。每个问题运行 25 次（此前为 10 次），将平均 95% 置信区间从 ±4.7 缩小至 ±2.6 分

➤ 覆盖范围扩展至六个开源权重模型：我们新增 GLM-5.3 Flash（max）和 Meta 的 Muse Spark Open（xhigh），以及 DeepSeek V4.1 Flash 1017（max）、GLM-5.3（max）、Kimi K3（max）和 gpt-oss-120b（high）

GLM-5.3 Flash 的关键结论：

➤ 22 个端点中有 16 个在统计上与参考值一致，其中一个得分高于参考值（104.2）

➤ 输出 token 上限限制了该模型在复杂工作负载上的表现：两个端点将输出上限设为约 32K token，在 HLE-250 中约一半的响应在给出答案前被截断，得分分别为 22% 和 29%，而参考值为 55%

➤ 推理较少的端点给出的答案质量较低：两个端点在 HLE-250 上产生的推理 token 比参考值少约 30%，且没有截断，得分为 48%，而参考值为 55%

Muse Spark Open 的关键结论：

➤ 五个端点中有三个与参考值匹配：得分在 99.5 至 99.9 之间，其中一个提供 FP4 权重

➤ 另外两个仅在工具调用上损失准确性：两者都将工具定义为文本的参数（如预订 ID）以数字形式返回，在 BFCL-500 上得分分别为 50% 和 51%，而参考值为 59%。在 HLE-250 和 AA-LCR-25 上，它们与参考值的差距在 2 分以内

来源：Artificial Analysis · x.com