AWS 为 SageMaker AI 无服务器模型定制推出训练会话正式版

那些真正从 AI 中获得实际成果的公司，并不只是使用现成的基础模型（FM）。他们利用强化学习等后训练技术对开放权重模型进行定制。一个基于你的业务背景、产品目录或临床词汇训练的模型，对你的任务会更准确，运行成本也更低。在构建智能体时，你的数据、工作流、评估和成功标准也会塑造模型的行为。

然而，模型定制并不容易。你必须选择正确的技术，搭建和管理 GPU 基础设施，并且对于智能体而言，还要为多轮强化学习构建环境。我们推出了 Amazon SageMaker AI 无服务器模型定制来解决这些挑战，今天，我们通过正式推出训练会话（training sessions）来扩展这一能力。

借助训练会话，你可以控制后训练逻辑，而无需管理底层基础设施。你编写并协调训练循环，包括自定义损失函数或奖励信号。SageMaker AI 负责 GPU 分配、分布式执行、故障恢复和检查点存储。

无需繁琐的基础设施管理即可进行定制

借助 SageMaker AI 无服务器模型定制，你无需选择实例类型、管理集群或编写分布式训练配置。

我们不想限制你。你可以使用 SFT、DPO、RLVR、RLAIF 或多轮 RL 等技术。你可以通过低秩适应（LoRA）或全量微调来选择更新模型的多少部分，并通过持续定制将多种技术串联起来。

我们不想让你浪费时间。我们的 SageMaker AI 训练会话 cookbook 提供了示例和用例，以及模型定制智能体技能。你描述你的用例，智能体就会处理数据准备、技术选择、训练、评估和部署。该智能体在你工作的地方工作，包括 SageMaker Studio、Kiro、Claude Code、Codex 或 GitHub Copilot。

“我们采用 SageMaker AI 无服务器训练会话构建了一个医疗理赔拒付分诊模型，这一体验从第一天起就验证了该平台。低层 API 接口、对前向和反向传播、采样以及优化器步骤的直接控制，为我们的科学家提供了所需的细粒度控制，以便在一个要求严苛、对准确性至关重要的用例上开展强化学习。训练会话为我们提供了正确的原语，推动我们迈向生产级性能。”

— Rob Gontarek，ImagineSoftware 数据科学高级副总裁

编写你自己的后训练循环

智能体训练的一个重要转变是转向多轮强化学习。例如，一个预订旅行、分诊支持工单或执行多步研究任务的智能体，需要经过多轮交互，你才能判断它是否达到了正确的结果。

然而，训练循环很快就会变得复杂。你可能在一套基础设施上训练模型，在另一套上运行推理以生成响应，对这些响应进行评分，并将结果反馈到下一次更新中。每个阶段需要不同的计算资源，而跨不同工具和集群连接它们会增加工作量。

SageMaker AI 已经将多轮 RL 作为一项托管、无服务器技术提供。但我们听到客户希望在一个循环中定义自己的损失函数、塑造奖励信号或 RL 阶段。训练会话为你提供了这种灵活性。

“借助 SageMaker AI Serverless Training Sessions，我们针对 Amazon Neptune 知识图谱对 gpt-oss-20b 进行了智能体式多轮工具调用的微调——平台为我们处理了基础设施。设置直接就能用，无需手动调优，也无需处理内存不足的问题。检查点与恢复功能尤为突出：从精确的步骤恢复完全可靠。它为我们开发者提供了他们想要的灵活性，同时把运维负担从他们肩上卸了下来。”

— Nitin Wagh，Karini AI 首席执行官

工作原理

你的代码在你的环境中运行训练循环和奖励函数，并将智能体连接到其工具或模拟器。训练会话执行 GPU 密集型工作：采样器生成响应，训练器计算梯度并更新模型权重。确切的顺序取决于你编写的算法。

例如，我们来看一下组相对策略优化（GRPO）的实现。GRPO 是一种强化学习方法，它针对同一提示生成多个响应，对它们进行评分，并利用它们的相对表现来更新模型。循环的一次完整过程如下：

采样响应—— 你的循环要求采样器使用当前模型为每个提示生成多个响应。
对它们评分—— 你的奖励函数在你的环境中使用验证器、奖励模型或测试框架对每个响应进行评分。
更新模型—— 你的循环将分数发送回训练器。forward_backward() 使用这些分数计算梯度，optim_step() 将更新应用到模型权重。
刷新并重复—— 你的循环要求会话用更新后的权重刷新采样器，然后开始下一批。你的代码重复这些步骤，直到训练完成。

你为 SageMaker AI 处理的 token 付费。当你的奖励函数在你的环境中对一批数据进行评分时，计量会停止，并且无需预留容量。

保持对数据和模型的控制

每个会话使用你创建的 AWS Identity and Access Management（IAM）执行角色，你可以添加自己的 AWS Key Management Service（AWS KMS）密钥和虚拟私有云（VPC）配置。你的数据保留在你选择的 AWS 区域中你自己的 Amazon Simple Storage Service（Amazon S3）存储桶中，你的检查点也存放在那里。

我们不会使用你的数据或你自定义的权重来训练另一个模型。在部署之前，你可以评估模型的准确性、偏见和安全性。部署之后，你可以应用护栏并使用 Amazon CloudWatch 对其进行监控。

你可以继续使用团队已有的治理流程。

立即开始

在 SageMaker AI 无服务器模型自定义训练会话上编写你自己的训练循环，现已可用，支持 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B。

两种入门方式：

在你的 IDE 中：安装 SageMaker Python SDK（在 Linux 或 macOS 上，使用 Python 3.10 至 3.12），克隆 cookbook，然后开始开发。
在 SageMaker Studio 中：在 20 秒内启动一个即用型 AI 开发环境。登录，打开笔记本，连接你的编码智能体（Kiro、Claude Code、Codex 或 Copilot），下载智能体技能和 cookbook，你就可以开始了。

资源

关于作者

Pooja Karadgi

Pooja 是 AWS SageMaker AI 团队的高级产品经理，负责开发者体验和模型定制，包括强化学习。她的工作重点是让先进的微调技术对开发者来说变得实用且易于使用。

Sumedha Swamy

Sumedha 是 Amazon Web Services (AWS) 的产品管理高级经理，负责 Amazon SageMaker 的多个领域，包括 SageMaker Studio——业界领先的机器学习集成开发环境、开发者和管理员体验、AI 基础设施以及 SageMaker SDK。

Jason Berkowitz

Jason 是 Amazon Web Services (AWS) 模型训练和推理产品营销负责人，负责 SageMaker AI 的定位、信息传递和营销工作。他在分析和 AI 领域拥有超过 25 年的经验，从事 AI 产品的构建、部署和上市推广。