跳到正文
AWS Machine Learning Blog· Sandeep Raveesh-Babu·· 36 分钟前AI 评分38

SageMaker AI Serverless Model Customization 支持全参数微调(FFT)

Full Fine-Tuning (FFT) on SageMaker AI Serverless Model Customization

AI 导读

Amazon SageMaker AI Serverless Model Customization 现已支持全参数微调(FFT),无需配置 GPU、集群或分布式训练。

正文 · AI 翻译

微调是指在公司自有数据上继续训练预训练大语言模型(LLM)的过程,使其适应特定领域、任务或风格,而非仅依赖通用知识。对企业而言,其价值是双重的。微调后的模型在特定领域工作上能带来可衡量的更高准确率,同时降低成本:一个更小的专用模型可以在你的任务上以极低的每token推理价格达到甚至超越前沿模型的表现。这些节省会在数百万次请求中不断累积。因此,对于希望以更低成本从LLM中获取更多价值的企业来说,微调已成为一项必不可少的流程。

参数高效微调(PEFT)方法,如低秩适配(LoRA),已成为将LLM微调至下游任务的实用解决方案,它仅更新LLM参数的一小部分,从而降低了对GPU容量的需求。LoRA旨在在效率与表达能力之间取得平衡,然而,权重更新的低秩特性本质上限制了LoRA微调模型的表示能力,可能损害其在复杂任务上的性能。这种权衡阻碍了LoRA方法捕捉多样化任务所需的复杂模式的能力。为应对这些挑战,全量微调(FFT)同时更新模型参数,克服了低秩限制,使LLM能够充分吸收复杂的领域特定知识。

Amazon SageMaker AI Serverless Model Customization 现已支持 全量微调(FFT),因此你无需管理基础设施即可获得卓越的模型质量。无需GPU预置、集群设置或分布式训练配置。在本文中,我们探讨FFT在关键基准测试中何时何地持续优于LoRA,考察解释这一质量差距的模型权重矩阵的谱特性,提供基于使用SageMaker AI Serverless Model Customization进行的受控实验的实用超参数调优指南,并向你展示如何在SageMaker AI上开始使用FFT。

全量微调:为何重要

像LoRA这样的模型定制类型通过冻结预训练模型的权重,并向模型层中注入小的、独立的替换矩阵对(称为低秩矩阵)来减少可训练参数。这对于简单的适配很有效,但低秩结构本质上限制了微调模型的表示能力。随着任务变得更加复杂、数据集规模超过数万个示例,LoRA会触及准确率平台期,此时增加秩(从而增加可训练参数)无法弥合与标准微调之间的准确率差距。这一平台期表明,性能差距并非仅仅因为参数更少。它是由秩亏缺本身造成的。低秩更新无法捕捉深度任务适配所需的权重变化的全部复杂性。

然而,对于存在大规模高质量数据集的复杂任务和领域,全秩微调通过同时更新模型参数而表现出色。FFT 统一修改模型的权重矩阵,利用模型权重矩阵的完整表示能力,而不是将更新限制在小子空间内,也不会引入低秩方法特有的突变式局部失真。其结果是模型收敛更强、跨模型层的激活对齐更好,并且模型能够忠实捕捉目标任务的分布及其预训练知识的丰富性。FFT 的质量优势随数据集规模增长而扩大:在 100K+ 训练样本时,FFT 在代码生成任务的 LLM-as-Judge 语义正确率上达到 90.0%,如下图所示。

LLM-as-Judge semantic correctness by training method as training data scales to 100K-plus examples

图 1:随着训练数据规模扩展至 100K+ 样本,各训练方法的 LLM-as-Judge 语义正确率

此外,以下雷达图提供了整体视图:基础模型(内层多边形)在所有轴上均显示持续较低的分数。LoRA(中间多边形)显示出强劲且均衡的提升。FFT(外层多边形)在每个维度上进一步扩展,在 BLEU 和 ROUGE-2 分数上的领先尤为明显。这种多维度的质量领先证实,它不是特定指标的偶然现象,而是全秩优化的根本优势。

Radar chart comparing the base model, LoRA, and FFT across BLEU, ROUGE, and correctness metrics

图 2:比较基础模型、LoRA 和 FFT 在各质量维度上的雷达图

我们如何得出这些结果的细节、用于模型定制的编码数据集以及实验过程将在以下章节中详细说明。

实验与基准测试结果

在本文中,我们在 Amazon SageMaker AI Studio 提供的 Qwen3-4B 基础模型上使用了监督微调(SFT)技术,并使用 SageMaker AI Serverless Model Customization 在 LoRA 和 FFT 训练方法上执行了所有微调实验。在每个实验中,两种方法都接收相同的提示、目标和评估代码。

数据集:代码生成 110K 指令对

在所有实验中,我们在 Magicoder-Evol-Instruct-110K 数据集上微调了 Qwen3-4B 基础模型,这是一个精心整理的语料库,包含 110,000 个编码指令-响应对,涵盖算法设计、调试、数据结构和系统编程。我们对数据集应用了 90/5/5 的划分:99,000 条记录用于训练,5,500 条用于验证以在定制任务期间监控收敛和训练损失,5,500 条保留作为留出测试集用于最终模型的无偏评估,如 SageMaker AI 数据集资产中注册并如下图所示。

The 110K instruction-pair dataset with train, validation, and test splits registered in SageMaker AI dataset assets

图 3:在 SageMaker AI 数据集资产中注册的 110K 指令对数据集

Serverless Model Customization 任务

本文中的所有模型定制实验均在 Amazon SageMaker AI Serverless Model Customization 上完成。SageMaker AI 上的 Serverless Model Customization 让数据科学家和机器学习(ML)工程师无需管理基础设施或规划 GPU 容量,即可专注于模型微调。您只需指定基础模型、数据集和超参数,该服务便会以无服务器方式自动处理计算资源分配和检查点管理。以下代码片段展示了其中一个实验:使用 SageMaker Python SDK 在 Serverless Model Customization 上启动全量微调(FFT)作业。

from sagemaker.train.sft_trainer import SFTTrainer
from sagemaker.train.common import TrainingType

trainer = SFTTrainer(
    model=base_model_id,
    training_type=TrainingType.FULL,
    model_package_group=model_package_group_name,
    training_dataset=training_dataset,
    validation_dataset=val_dataset,
    s3_output_path=output_path,
    sagemaker_session=sess,
    role=role,
)

# Configure hyperparameters as needed
trainer.hyperparameters.learning_rate = 2e-5
trainer.hyperparameters.global_batch_size = 8
trainer.hyperparameters.max_epochs = 2
trainer.hyperparameters.lr_warmup_steps_ratio = 0.1

trainer.train(wait=False)

该代码会触发一个无服务器模型定制作业(如下图所示),训练性能指标会在作业中跟踪,并可在关联的 MLflow 应用中查看。

Serverless model customization job in SageMaker AI with training metrics tracked and a linked MLflow app

图 4:在 MLflow 中跟踪训练指标的无服务器模型定制作业

从全量微调切换到 LoRA 只需做一处更改:将 TrainingType.FULL 设置为 TrainingType.LORA。其余代码保持不变:

trainer = SFTTrainer(
    model=base_model_id,
    training_type=TrainingType.LORA,  # ← only change
    model_package_group=model_package_group_name,
    training_dataset=training_dataset,
    validation_dataset=val_dataset,
    ...
)

模型评估与基准测试

我们在三种不同的评估方法上测试了生成的定制模型,这些方法内置于 SageMaker AI Serverless Model Customization:LLM-as-Judge、PRIMECODE 和 MMLU,如下图所示。每种方法针对模型质量的不同维度:语义正确性、代码生成保真度和通用知识保留度。它们共同提供了模型定制质量的全面图景。

The three built-in evaluation methods (LLM-as-Judge, PRIMECODE, and MMLU) in SageMaker AI Serverless Model Customization

图 5:SageMaker AI Serverless Model Customization 中的三种内置评估方法

LLM-as-Judge 指标使用前沿模型(本文中为 Amazon Nova Pro)作为自动评估器,它会读取模型生成的代码以及原始提示,并判断解决方案在逻辑上是否正确。在无服务器模型定制中,您可以同时评估定制模型和基础模型,如下图所示。

LLM-as-Judge evaluation comparing the customized model and the base model in SageMaker AI

图 6:比较定制模型与基础模型的 LLM-as-Judge 评估

PRIMECODE 是一种自定义评分器评估,它使用确定性文本相似度指标衡量模型生成的代码与参考解决方案的接近程度:BLEU(n-gram 精确率)、ROUGE-1/2/L(面向召回的重叠度)和 F1(精确率-召回率平衡)。这些指标完全可复现,因此非常适合受控的消融研究。我们将 PRIMECODE 作为衡量表层代码质量的主要指标,因为它量化了模型对训练数据中编码模式、格式约定和实现风格的学习程度。BLEU 分数高意味着模型生成的代码在结构上与专家编写的解决方案相似,如下面的结果所示。

PRIMECODE text-similarity scores (BLEU, ROUGE, and F1) for the customized model

图 7:定制模型的 PRIMECODE 文本相似度分数

MMLU(Massive Multitask Language Understanding,大规模多任务语言理解)是一项内置基准测试,涵盖从抽象代数、解剖学到营养学、哲学等 57 个学科,用于检验模型在这些学科上的表现。它衡量的是模型在完成领域特定微调后是否仍保留广泛的通用知识,如下图所示。我们将 MMLU 用作遗忘检测的护栏指标。在代码数据上微调可能会覆盖模型权重中存储的通用能力。通过追踪微调前后的 MMLU 准确率,我们可以精确量化模型为提升代码生成能力而牺牲了多少通用知识,以及我们的超参数选择是加速还是缓解了这一权衡。

MMLU accuracy across 57 subjects before and after domain-specific fine-tuning

图 8:微调前后的 MMLU 准确率

大规模快速实验

SageMaker AI Serverless Model Customization 的易设置、易使用特性,让我们无需重新配置基础设施即可快速开展实验。我们在 LoRA 和 FFT 之间切换训练类型、扫描超参数,并在多个基础模型上测试。在很短的时间窗口内,我们针对多个受支持的基础模型(Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B、Gemma-4-26B)运行了数十次模型定制实验,系统地消融了学习率、批大小、预热比例、训练轮数和数据集规模。每个实验从提交作业到获得评估结果都在数小时内完成,生成的微调模型会自动以带版本的 Model Package 形式注册到 SageMaker Model Registry,可供审核或部署。

超参数选项

SageMaker AI Serverless Model Customization 支持多种超参数。本节结合我们在前述代码生成任务中、跨多种超参数配置所做的一系列实验,说明其中几个重要的超参数。虽然有效取值会因任务而异,但这些实验中观察到的规律可为配置 FFT 模型定制作业提供有用的起点。有关启动 FFT 模型定制作业前可配置的超参数的更多信息,请参阅超参数文档页面。

1. learning_rate

在全量微调中,学习率控制每个权重被更新的幅度。与 LoRA 只改变小型适配器矩阵不同,FFT 的学习率过高会永久覆盖预训练知识。在我们的实验中,下面的学习率 × 数据集规模风险图显示,在大数据集(超过 10 万)上使用 2e-5 的学习率属于安全区。

Learning rate by dataset-size risk map showing 2e-5 on a 100K-plus dataset as the safe zone

图 9:全量微调的学习率与数据集规模风险图

2. max_epochs

FFT 中的训练轮数本质上是一个遗忘问题,而不是损失曲线问题。训练损失会持续下降,留出的验证集表现看起来也很健康,因为它与训练数据同分布,但模型在未训练过的所有能力上都在悄然退化。LLM-as-Judge 正确率在 3 个 epoch 时升至 90.0%,而超过 3 个 epoch 后,我们实验过的每个变体都出现了退化。

3. global_batch_size

批大小决定每次梯度更新有多少样本参与。在学习率固定时,较小的批会产生更多噪声更新,其效果类似于更高的学习率,从而增加遗忘风险。较大的批能降低噪声,但也会减少优化步数,可能导致欠拟合。

Effect of global batch size on model quality at a fixed learning rate

图 10:全局批大小对模型质量的影响

灾难性遗忘风险

FFT 会修改模型中的每一个参数,包括编码预训练期间所获得通用知识的参数。当微调将这些参数过度推向狭窄领域时,模型可能会“遗忘”其更广泛的能力,这一现象被称为灾难性遗忘。我们使用 MMLU 系统地测试了这一点,测量了所有微调配置下的通用知识保留情况。warmup=5%、batch size 8、LR=2e-5 的基线配置最好地保留了通用知识(MMLU),如下图所示。

MMLU general-knowledge retention across fine-tuning hyperparameter configurations

图 11:各超参数配置下的 MMLU 通用知识保留情况

因此,需要注意的是,FFT 并非普遍优于 LoRA,其有效性对超参数选择极为敏感。例如,在我们的实验中,FFT 和 LoRA 在 MATH 精确匹配上的表现均不如基础模型,凸显了在领域特定微调期间保持推理能力的挑战。FFT 中激进的学习率(LR ≥ 5e-5)被证明尤其具有破坏性,导致 MATH 分数骤降至 2–3%,MMLU 准确率降至 3.6%,这是灾难性遗忘的明确证据。此外,LoRA 在 LLM-as-Judge 指标上略优于 FFT(81.5% 对 79.5%),表明参数高效方法在主观质量评估上仍可占据优势。这些发现进一步表明,FFT 与 LoRA 之间的选择应以仔细的实验、数据集特征以及对相关权衡的清晰理解为指导。

结论

借助 Amazon SageMaker AI Serverless Model Customization 上的全量微调,当任务复杂度和数据规模需要时,您的模型可以充分吸收领域特定知识。如果您的用例需要深度适配,例如专业推理、代码生成或领域特定语言理解,并且您拥有足够的高质量训练数据,FFT 可带来可衡量的更强结果。

您可以通过无服务器训练、内置评估,且无需基础设施或计算容量规划,开始在 SageMaker AI Serverless Model Customization 上使用 FFT,从而专注于数据和超参数选择。您可以使用 SageMaker Python SDK 以编程方式配置和启动训练与评估作业。您可以查看 受支持基础模型的文档,了解 Serverless Model Customization 上可用于全量微调的模型。


关于作者

Sandeep Raveesh-Babu

Sandeep Raveesh-Babu

Sandeep 是 AWS 的 GenAI 专家解决方案架构师。他与客户合作开展 LLM 训练、LLM 推理和 GenAI 可观测性相关工作。他专注于产品开发,帮助 AWS 在生成式 AI 领域构建并解决行业挑战。您可以在 LinkedIn 上与 Sandeep 联系,了解生成式 AI 解决方案。

来源:AWS Machine Learning Blog · aws.amazon.com