Artificial Analysis 将每任务耗时设为 API 性能基准核心指标

Artificial Analysis· @ArtificialAnlys · X·2026-11-05 01:34· 1 小时前AI 评分49

AI 导读

Artificial Analysis 更新 API 性能基准，将"每任务耗时"（Time per Task）设为核心指标，衡量模型完成任务的总时长而非 token 流式速度，覆盖其每日多次测试的约 1,000 个 serverless 端点。

正文 · 原文

宣布推出下一版 Artificial Analysis API 性能基准测试：每任务耗时（Time per Task）现已成为我们的核心性能指标，衡量模型完成任务所需的时间，而非其流式输出的速度

此次更新适用于我们每天多次进行速度、延迟和缓存基准测试的约 1,000 个 serverless 端点。

主要变化：
➤ 每任务耗时现已成为比较模型的核心指标：随着工作负载日益趋向智能体化，完成任务所需的时间比每个 token 的速度更为重要。一个每 token 速度快但输出冗长的模型，可能比一个速度较慢但使用更少 token 的模型耗时更长。每任务耗时等于模型在 Intelligence Index 任务中输出的 token 数除以其端到端输出速度。

➤ 端到端输出速度覆盖完整请求：速度现在从发送请求到接收最后一个 token 进行测量。这包括首个 token 之前的等待时间（预填充，以及隐藏推理过程的模型的推理时间）以及生成时间。输出 token 数现在来自各提供商 API 报告的计数，而非 o200k_base 分词器，我们会监测报告计数中的差异。

➤ 智能体工作负载现已纳入每次测量：我们对短提示、文档长度提示和长上下文提示进行基准测试，并涵盖编码和知识工作中的多轮会话。核心数据为过去 5 天内这些工作负载的平均值。

➤ API 默认努力程度现与最高努力程度一同追踪：大多数开发者以各实验室设定的 API 默认努力程度运行模型，因此我们现在既在最高努力程度下、也在该默认设置下对关键模型进行基准测试。各实验室的努力程度名称不可直接比较，因此我们采用各实验室自身的默认值，而非统一的共享设置。

主要结论：
➤ 尽管输出速度较慢，OpenAI 模型仍占据 Intelligence 与每任务耗时帕累托前沿的大部分：在各努力程度下，GPT-6 Astra 和 GPT-6.1 Sol 在 Intelligence Index 约 45 至约 55 区间内保持前沿。在最高努力程度下，GPT-6 Astra 以 51 tokens/s 运行，但完成一项任务约需 17 分钟，而 Claude Opus 5.5（最高努力程度，111 tokens/s）约需 26 分钟，Gemini 4 Carbon（高努力程度，71 tokens/s）约需 29 分钟，因为其每任务输出约 50k token，而后者为约 120k 至约 170k。

➤ 对于 GPT-6 Astra、GPT-6.1 Sol 和 Claude Opus 5.5，API 默认努力程度将每任务耗时缩短约 3 至 5 倍，每任务成本降低约 2 至 4 倍：三者均默认采用中等努力程度，代价是在 Intelligence Index 上得分低约 5 至 11 分。Claude Opus 5.5 从最高努力程度下的约 26 分钟和每任务 $10.04，降至中等努力程度下的约 6.8 分钟和 $2.45。

➤ 仅针对解码速度优化的端点，其端到端输出速度下降最为明显：高解码速度可能以延迟为代价，例如通过排队请求以更小的批处理规模运行，或暂存输出并一次性突发发送。两者都会延长首个 token 之前的等待时间，而端到端输出速度现已将其计入。

来源：Artificial Analysis · x.com