跳到正文
AWS Machine Learning Blog· Dan Ferguson·· 46 分钟前AI 评分40

Amazon SageMaker JumpStart 推出模型排行榜

Introducing the Amazon SageMaker JumpStart Model Leaderboard

AI 导读

AWS 在 SageMaker Studio 中上线 Amazon SageMaker JumpStart Model Leaderboard,可在质量、速度和成本三个维度并排比较模型。

正文 · AI 翻译

Amazon SageMaker JumpStart 为您提供数百个可快速部署的开放权重基础模型。这种选择很强大,但也带来一个实际问题:您应该从哪个模型开始?比较模型通常意味着逐个阅读模型卡,并寻找不同来源在不同条件下发布的基准分数。然后,您仍然必须猜测每个模型在您的用例中会表现如何,以及成本是多少。

今天,我们推出 Amazon SageMaker JumpStart 模型排行榜,这是一种直接在 Amazon SageMaker Studio 中并排比较 JumpStart 模型质量、速度和成本的新方式。在本文中,我们将解释排行榜展示的内容,用通俗语言定义关键术语,并演示如何从候选列表走向已部署模型。

什么是 JumpStart 模型排行榜?

该排行榜是 SageMaker Studio 中 JumpStart 基础模型页面的一个新视图,紧邻 Categories 和 All models 视图。它使用您已经熟悉的相同搜索栏和筛选器,并默认打开大型语言模型(LLM)排行榜。您无需先回答设置问题即可立即看到排名。对于每个模型,它显示两类信息:

  1. 质量分数,基于三个公开基准(BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro),由 AWS 自行运行,对每个模型使用相同的评估设置,因此数字具有可比性。
  2. 性能和成本指标,由 AWS 通过使用每个 JumpStart 部署配置向端点发送标准化测试工作负载来测量,因此您可以看到模型响应速度以及运行成本。

由于两类数字都来自同一来源和同一方法,您可以进行同类比较,而不是拼凑来自不同网站的数据。发布时,排行榜涵盖来自 Meta、Google、Qwen、IBM 和 Arcee 等提供商的 70+ 个模型,并会随时间增加更多模型。

以下截图展示了 SageMaker Studio 中的排行榜,包括每个模型的基准分数、性能指标和预估成本。

SageMaker JumpStart Model Leaderboard in SageMaker Studio showing benchmark scores, performance metrics, and estimated cost per model

图 1:SageMaker Studio 中的排行榜概览

关键概念

本节定义排行榜使用的术语:质量基准、影响性能数字的用例配置和优化目标,以及性能指标本身。

质量基准

基准是一种标准化测试:一组具有已知答案的固定问题。让每个模型运行相同的测试,可以得到可比较的分数。发布时,排行榜报告 LLM 的三项推理基准:

基准 用通俗语言说明它衡量什么
BIG-Bench Hard (BBH) 一组需要多步推理的挑战性任务,例如逻辑推理、跟踪对象和多步算术。
GPQA Diamond 研究生水平的科学问题,难以通过搜索网络回答。是深度推理的良好信号。
MMLU-Pro 跨许多学科(如科学、法律和工程)的广泛知识和推理,使用更难的单项选择题。

这三项都是越高越好。排行榜分别显示每个基准,而不是将它们混合成一个数字。这保持了结果的透明度:您可以权衡对您的应用重要的基准,并根据基准的公开定义检查每个分数。

用例配置与优化目标

速度和成本取决于你的工作负载以及模型的部署方式。排行榜上方的两个菜单控制你看到的是哪组性能与成本数据:

  1. 用例配置。在“View benchmarks for your use case”菜单中选择最接近你工作负载的配置。默认是 Max Context。该配置只改变性能与成本指标。质量基准分数在所有配置下都相同。
  2. 优化目标。对于每个配置,一个模型可以有多种部署配置,排行榜一次只显示其中一种的指标。用“Optimized for”菜单选择要显示哪一种。默认是 Balanced。

每个优化目标对应不同的配置:

优化目标 显示的配置
Balanced 每 token 估算成本最低的配置。由于每 token 成本同时取决于实例价格和吞吐量,这一目标在每小时费用与实例生成 token 的速度之间取得平衡。
Cost optimized 每小时实例价格最低的配置。与其他目标相比,延迟可能更高、吞吐量可能更低。
Latency optimized 首 token 时间最低的配置。
Throughput optimized 吞吐量最高的配置。这些配置可以使用推测解码。

性能指标

指标 它告诉你什么
首 token 时间(TTFT) 用户等待模型开始响应的时间。越低越好,对聊天场景最为重要。
每请求吞吐量(tokens/s) 模型每秒生成的 token 数。越高越好,对批处理和高并发工作负载很重要。
实例成本($/hr) 在指定实例类型下的每小时估算成本。

关于成本的说明:估算成本仅反映 SageMaker 实例成本,基于该配置默认实例类型的按需每小时费率。它不包括数据传输、存储、推理组件成本,也不包括 Reserved Instances 或 AWS Savings Plans 等折扣。你的实际账单会有所不同。请使用 AWS Pricing Calculator 进行账单估算。

我们如何做基准测试

已发布的基准分数往往来自不同团队,使用不同的提示词、设置和硬件,因此难以比较。我们采用了不同的方法:

  1. 所有模型使用同一方法。AWS 对排行榜上的所有模型使用相同的评估框架和设置来运行每项基准测试。
  2. 在 SageMaker 上测量。性能与成本数据来自向使用各 JumpStart 部署配置部署的端点发送标准化测试工作负载,这些配置与你能够启动的配置相同。

有关完整细节,包括提示词、生成设置以及配置的测量方式,请参阅 JumpStart leaderboard methodology。

操作演示:查找模型

以下步骤展示如何从浏览到部署模型。你需要有 SageMaker Studio 的访问权限以及部署 JumpStart 模型的权限。

第 1 步:打开排行榜

在 SageMaker Studio 中,打开 Models 页面,然后选择 Leaderboard 视图。排行榜保留与其他视图相同的搜索栏和筛选器,并且有自己的 URL。你可以将其加入书签,或与团队分享直接链接。

以下截图显示了已选择 Leaderboard 视图的 Models 页面。

JumpStart base models page in SageMaker Studio with the Leaderboard view selected

图 2:已选择 Leaderboard 视图的 JumpStart 基础模型页面

第 2 步:使用筛选器缩小列表范围

使用你在 JumpStart 其他位置已经使用的相同搜索和筛选器,只保留符合你需求的模型。常见筛选条件包括许可证、提供商以及输入和输出模态。先满足硬性要求,例如允许商业使用的许可证,然后再查看分数。

以下截图显示了按输入模态、输出模态和许可证筛选后的排行榜。

Leaderboard filtered by input modality, output modality, and license

图 3:应用筛选器后的排行榜

第 3 步:选择用例配置文件和优化目标

在排行榜上方,从 View benchmarks for your use case 菜单中选择最接近你的工作负载的配置文件(默认:Max Context)。然后从 Optimized for 菜单中选择一个目标(默认:Balanced)。对于客户会与之交互的聊天机器人,Latency optimized 是一个合理的起点。对于夜间文档处理,Throughput optimized 或 Cost optimized 可能更合适。性能和成本列会更新,质量分数保持不变。

以下截图显示了排行榜上方的 View benchmarks for your use case 和 Optimized for 菜单。

View benchmarks for your use case menu above the leaderboard

图 4:View benchmarks for your use case 菜单

Optimized for menu above the leaderboard

图 5:Optimized for 菜单

第 4 步:阅读热图并自定义列

每一列都有一个蓝色热图,因此表现最好的模型一目了然:蓝色越深,表示该列中的结果越强。按任意基准列排序,即可按你最关心的指标对模型进行排名。使用列设置(齿轮图标)隐藏你不需要的指标,并水平滚动以查看更多内容。滚动时模型名称列保持冻结,边缘的渐隐效果表示还有更多列可用。

以下截图显示了热图和列设置菜单。

Leaderboard heatmap with the column settings menu open

图 6:热图和列设置

第 5 步:部署或自定义模型

选择一个模型以打开它。在那里,你可以选择部署模型,或者对于支持无服务器自定义的模型,可以对其进行自定义。如果部署,请选择你在排行榜上比较时使用的相同用例和优化目标。每个指标都适用于其测量时的配置,不同的配置可能会改变质量、延迟、吞吐量和成本。

以下截图显示了带有 Deploy 和 Customize 选项的模型页面。

JumpStart model page showing the Deploy and Customize options

图 7:带有 Deploy 和 Customize 选项的模型页面

示例:为聊天助手选择模型

假设你正在构建一个内部帮助台助手。员工提出问题,并期望获得快速、准确且遵循设定响应格式的答案。你需要一个具有商业许可证的模型,并希望保持成本可预测。

按许可证筛选并选择类似聊天的用例配置文件及 Latency optimized 后,你的候选列表可能如下所示:

模型 BBH MMLU-Pro TTFT (s) 吞吐量(tokens/s) 实例成本($/hr)
模型 A(大型) 95.9 87.2 2.33 37 $37.66
模型 B(中型) 94.2 84.9 0.98 44 $5.75
模型 C(小型) 77.4 66.1 0.27 61 $2.61

从表中可以看出,模型 A 的知识得分最高,但成本也最高,首次响应最慢。模型 B 的得分几乎同样出色,在多步推理上表现稳定,并且运行在更小、更便宜的实例上。对于帮助台来说,推理问题和快速响应比通用知识的最后几分更重要,因此模型 B 是更好的起点。更大的模型并不总是更好的选择,而排行榜能在几秒钟内让这种权衡变得一目了然。

在此基础上,你可以部署模型 B,用帮助台的真实问题对其进行测试,并将模型 C 作为低成本选项加以考虑——前提是质量能够保持。

提示与须知

  1. 用排行榜来构建候选名单,而不是做最终决定。基准测试衡量的是通用能力。在投入生产之前,务必用你自己的数据和提示词评估排名前三的模型。
  2. 先筛选,再排名。许可证、输入或输出模态等要求会决定模型入选或出局。分数只用于对剩下的模型进行排序。
  3. 在同一基准测试内比较模型。每个基准测试都有自己的难度,因此一个基准测试的分数不能直接与另一个基准测试的分数比较。
  4. 考虑模型类型。推理模型和非推理模型使用不同的生成参数进行评估,推理模型的 GPQA Diamond 分数是 10 次运行的平均值。两种类型之间的比较是近似的。
  5. 检查部署配置。每个指标都适用于其测量时的配置。请在你计划部署的配置上比较模型。
  6. 将接近的分数视为平局。微小差异可能落在正常的运行间波动范围内,并不意味着某个模型明显更好。要寻找明显的差距。
  7. 覆盖范围正在扩大。并非每个 JumpStart 模型都有基准分数,且发布基准测试主要针对 LLM。没有分数的模型并不是弱模型,只是尚未进行基准测试。

下一步

我们正在继续扩展排行榜。我们正在探索的领域包括:

  1. 私有中心支持,以便使用精选 JumpStart 私有中心的组织能够查看其已批准模型的排行榜。
  2. 更多任务排行榜,超越 LLM 文本生成,例如目标检测、文本嵌入和图像理解。
  3. 更多模型和基准测试,随着新模型加入 JumpStart。

结论

SageMaker JumpStart 模型排行榜将质量、速度和成本汇集于一处,并在 SageMaker 上以一致的方式测量。你无需比较来自不同来源的数字,而是可以筛选出符合你要求的模型,在你计划运行的配置上进行比较,并只需点击几下即可部署。

要开始使用,请打开 SageMaker Studio 中的 Models 页面并选择 Leaderboard 视图。要了解更多信息,请参阅以下资源:

  1. JumpStart 排行榜方法论。
  2. Amazon SageMaker JumpStart。
  3. SageMaker JumpStart 文档。
  4. SageMaker JumpStart 上基于用例的部署。
  5. 使用 SageMaker 无服务器定制来定制模型。

打开排行榜,为你的工作负载筛选出两到三个模型,并在为生产选择其中一个之前,部署它们用你自己的提示词进行测试。


关于作者

Dan Ferguson

Dan Ferguson

Dan 是 AWS 位于美国纽约的解决方案架构师。作为机器学习服务专家,Dan 致力于帮助客户高效、有效且可持续地集成 ML 工作流。

Naidile Murali

Naidile Murali

Naidile 是 AWS 位于华盛顿州贝尔维尤的产品经理。她专注于提升 SageMaker Studio、JumpStart 和 IDE 容量管理方面的 AI/ML 开发者体验。在加入 AWS 之前,她曾在汇丰银行担任软件工程师。Naidile 拥有乔治城大学的 MBA 学位。

Joseph Zhang

Joseph Zhang

Joseph 是 AWS 的软件工程师。他的 AWS 职业生涯始于 EC2,之后转至 SageMaker,目前从事 GenAI 相关功能的开发工作。工作之余,他喜欢参与和观看体育运动(勇士队加油!)、与家人共度时光以及制作咖啡。

Rachel Park

Rachel Park

Rachel 是 AWS SageMaker JumpStart 团队位于纽约的软件工程师。她热衷于研究人们如何与技术互动,并致力于打造更好的客户体验。Rachel 拥有麻省理工学院(MIT)的工程硕士学位,主修计算与认知。

Mike James

Mike James

Mike 是 AWS 的软件开发经理,负责领导 SageMaker JumpStart 的工程团队以及 SageMaker Studio 和 Console 的开发者体验。他的工作重点是让客户能够轻松采用业界最新的模型、硬件和软件创新。

来源:AWS Machine Learning Blog · aws.amazon.com