跳到正文
RadarAI· Hugging Face 社区博客(混合发现)·· 2 小时前AI 评分38

为什么微调任务比 FLOPs 估算更耗时:基于 272 次生产运行的端到端时长预测

为什么你的微调任务比 FLOPs 估算耗时更久:基于 272 次生产运行的端到端时长预测

AI 导读

基于 272 次真实 SFT 任务(约 7,382 GPU-hours,NVIDIA H200)的研究显示,传统 FLOPs 估算仅得 R²=0.31、MAE 12.41 h,而仅用调度前信息的 CatBoost 回归器在 5 折交叉验证下达到 R²=0.98、MAE 1.71 h、中位误差 0.51 h。

正文 · AI 翻译

Hugging Face 社区博客·2026-11-19 02:53· 51 分钟前AI 评分46

为什么你的微调任务比 FLOPs 算出来的更耗时

AI 导读

研究基于 272 次真实 SFT 任务(约 7,382 GPU-hours,NVIDIA H200)对比 FLOPs 解析估算与学习型预测器。传统 FLOP 估算仅得 R²=0.31、MAE 12.41 h,而仅用调度前信息的 CatBoost 回归器在 5 折交叉验证下达到 R²=0.98、MAE 1.71 h、中位误差 0.51 h。

正文 · 原文

基于 272 次生产运行,预测共享 GPU 集群上的端到端微调时间。

这是我们即将发表的论文 Predicting End-to-End Fine-Tuning Time for Generative Language Models 的预览。完整版本将很快发布在 arXiv 上。

GPU 是当今 AI 领域最昂贵、最稀缺的资源之一。任何运行共享集群的人每天都必须决定:哪些任务分配到哪些 GPU 上,以及按什么顺序执行。这个计划的好坏取决于对每个任务耗时的估计。当任务提前数小时完成时,GPU 会闲置到下一个任务被调度为止。当任务延迟数小时时,排在它后面的一切都会顺延,实验等待,交付日期推迟。

更好的时长估计能把这一切从猜测变成规划:运行什么、何时运行、用多少块 GPU,以及减少中间的闲置容量。然而大多数团队使用的估计方法只是粗略的 FLOP 计算。它说九小时,任务却在第二天下午才完成。

我们想知道这种计算到底偏差多大,以及能否在任务被调度之前就做得更好。于是我们从 NVIDIA H200 GPU 生产池中选取了 272 个真实的监督微调(SFT)任务,总计约 7,382 GPU-hours,并将解析估算与学习型预测器进行了对比。

简而言之:常用的基于 FLOP 的估算几乎无法解释我们观察到的结果(R² = 0.31,MAE 12.41 h)。一个仅使用调度前可用信息的 CatBoost 回归器在 5 折交叉验证中达到 R² = 0.98,平均绝对误差 1.71 h,中位误差 0.51 h。这一差距来自闭式估算无法做到的两件事。该回归器能看到更多训练特有的信号,例如评估频率、检查点策略、每 GPU 负载和微调模式,并且它从过去的运行中学习这些信号之间的非线性交互。

大家都在用的估算只考虑计算量

对于稠密 Transformer,训练成本约为 6·P·D 次浮点运算,其中 P 是参数数量,D 是训练 token 数。将其除以你的 GPU 能提供的算力,就得到训练循环时间:

T_theoretical = (6 · P · D) / (N_GPU · FLOPS_peak · MFU)

这里 N_GPU 是 GPU 数量,FLOPS_peak 是单块 GPU 规格表上的峰值吞吐量,MFU(模型 FLOPs 利用率)是训练实际达到的峰值比例。真实任务永远不会以峰值运行,因为存在内存流量、通信和内核效率低下的问题,所以 MFU 通常在 30% 到 60% 之间,而特定任务的正确值事先并不知晓。

这是对优化循环的良好描述。但任务不止是它的循环。在第一步之前,有环境搭建、模型下载和加载以及分词。训练期间有定期评估和检查点上传。结束时,最终模型要上传到对象存储。在多租户集群上,所有这些都要与其他任务竞争网络和存储 I/O。

这些开销取决于配置,而且它们不会随工作负载或 GPU 数量整齐地扩展。两个名义计算量相同的任务可能相差数小时完成。

为保证比较公平,我们测试的 FLOP 基线同时计入调度评估 token 和训练 token,并在较大范围内扫描 MFU。

我们构建了什么

我们将端到端时长视为一个有监督回归问题。给定由作业配置和模型元数据构建的特征向量,预测从作业获得 GPU 到作业完成之间的实际耗时。排队时间不计入。

两个设计选择塑造了这项工作:

  • 所有信息在调度前已知。 每个输入都来自提交的配置:超参数、数据集大小、模型标识符、GPU 分配。没有运行时日志,没有部分进度。这正是预测可用于调度的原因。
  • 暴露开销的特征。 在原始配置之上,我们派生诸如 num_eval_data(所有评估周期中处理的样本数)、num_saves 和 num_params_saved(检查点 I/O)以及每 GPU token 量等量。FLOP 估计本身(MFU 固定为 0.45)作为另一个特征(baseline_time)输入,因此模型从纯计算数值出发并学习修正项。

我们比较了 Linear Regression、Ridge、XGBoost 和 CatBoost。特征选择结合了相关性过滤、互信息和置换重要性,覆盖 18 个候选特征集,随后以 MAE 为准则进行网格搜索。最终的 CatBoost 模型使用 24 个特征。

数据

  • 272 次 SFT 运行,来自企业生产环境的运维日志,涵盖多个模型系列(最大 150 亿参数)、LoRA 和全量微调,以及广泛的数据集大小和超参数范围。
  • 共享基础设施。 作业运行在 1、2 或 4 块 GPU 上,这些 GPU 来自 1 到 4 个节点上 8 到 32 块 H200 的池子,并与其他训练和推理工作负载共存。测量时间包含真实争用。
  • 时长从 1.6 到 172.4 小时,平均 23.43 小时,中位数 15.29 小时。
  • 技术栈: Hugging Face Transformers 和 Unsloth。我们将技术栈建模为分类特征,不对两者之间的固定加速比做任何假设。

fig-duration-distribution

272 次运行的端到端时长分布。平均 23.43 小时,中位数 15.29 小时。

结果

所有数字来自分层 5 折交叉验证。前四行是解析方法,不涉及拟合。

模型 R² RMSE(小时) MAE(小时)
FLOP 基线(MFU 30%) 0.31 20.45 12.41
FLOP 基线(MFU 45%) 0.18 22.38 13.01
FLOP 基线(MFU 60%) 0.01 24.56 14.62
Calculon −0.51 30.40 20.36
Linear Regression 0.69 ± 0.14 13.52 ± 4.23 7.52 ± 0.49
Ridge 0.73 ± 0.09 12.72 ± 3.70 7.23 ± 0.68
XGBoost 0.97 ± 0.01 4.18 ± 1.17 1.95 ± 0.32
CatBoost 0.98 ± 0.01 3.52 ± 0.78 1.71 ± 0.33

几点值得注意。

没有单一 MFU 值能修正 FLOP 基线。 我们将 MFU 从 0.25 扫描到 0.65。最佳设置 30% 在平均持续 23 小时的作业上仍留下超过 12 小时的平均误差。

更详细的解析模型也无法弥合差距。 作为第二个基线,我们采用了 Calculon(Isaev 等,SC '23),这是先前工作中用于 LLM 训练的解析性能模型。它构建显式的层图,并考虑计算、内存流量和设备间通信。我们扩展了公开实现以覆盖 LoRA、分组查询注意力、融合注意力、bfloat16 和 SwiGLU。其估计值仍仅对应观测实际耗时的中位数 11%。这并不否定 Calculon 作为步骤级工具的价值,那正是它的设计用途。它表明生产作业中有多大比例发生在优化步骤之外。

线性模型有帮助,但随后就停滞了。Ridge 将 MAE 降至 7.23 小时。配置与时长之间的关系无法被纯线性模型很好地捕捉。

梯度提升承担了主要工作。CatBoost 和 XGBoost 在每项指标上的差距都在一个标准差以内。我们选择继续使用 CatBoost,因为它在所有指标上的平均误差最低。

预测器依赖什么

CatBoost 的特征重要性集中在少数几个特征上。模型和工作负载变量如预期般出现,但评估和检查点变量也同样出现。num_eval_data,即作业生命周期内评估阶段处理的样本总数,排名第一,紧随其后的是 num_trainable_params、batch_eval_size_percent、num_all_params 和 num_gpus*batch_train_percent,num_params_saved 也紧随其后。SHAP 值讲述了同样的故事:高评估量持续推高预测时间,而可训练参数数量则具有非线性效应,只有在最大的模型上才会变得显著。

fig-feature-importance

CatBoost 模型在各折上的平均特征重要性(PredictionValuesChange)。

特征重要性并非因果论断。不过,这一模式与作业实际耗时的方式相符。评估的频率、评估集的大小以及持久化的检查点数量,都会与模型和数据集规模一起影响实际耗时。这些是人们在编写训练配置时常常凭习惯做出的选择。

阅读图表时需要注意一点:更大的 GPU 分配量对预测时间显示出正贡献。在我们的数据中,更大的分配量伴随着更大的作业,因此 num_gpus 部分充当了作业规模的代理变量。这并不意味着增加 GPU 会让作业变慢。

误差有多大,以及在哪里

查看全部 272 个折外预测,绝对误差中位数为 0.51 小时。80% 的预测误差在 2.20 小时以内,90% 在 4.31 小时以内。按作业时长细分:

作业时长(小时) 运行次数 绝对误差中位数(小时) P90(小时)
1.56 至 5 60 0.30 1.55
5 至 10 63 0.18 1.27
10 至 30 69 0.73 4.17
30 至 60 67 1.06 5.50
60 至 175 13 5.19 18.51

在 60 小时以内,中位误差保持在大约一小时或更少。长尾部分是模型表现不佳的地方,而超过 60 小时的运行仅有 13 次,我们将其视为数据限制。

fig-error-by-duration

折外绝对误差与真实时长的关系,按时长范围着色。误差在 60 小时以内保持较低,在稀疏的长尾部分扩大。

更多数据应该仍有帮助。在固定的 20% 留出集上,当训练分区从 85% 增加到 100% 时,MAE 从 1.63 小时降至 1.50 小时,且没有明显的平台期。

它适用于什么

在实践中,预测器为调度器提供了一个可以在作业开始前进行规划的时长:哪些作业可以一起运行、GPU 何时会空闲,以及某次运行能否在截止时间前完成。

局限性

  • 仅限 SFT。我们没有包含其他训练和对齐策略,例如 RLHF、DPO 或 RLVR。
  • 单一 GPU 类型。每次运行都使用 H200。拟合的模型是针对该基础设施校准的,不应期望在不重新训练的情况下在数值上迁移到其他 GPU 代际。面向混合池的预测器还需要硬件描述符,例如计算吞吐量、内存容量和带宽,以及互连拓扑。
  • 极长运行很少。误差在超过 60 小时后会扩大。

真正可迁移的是方法:开销感知特征、多重共线性感知的选择以及对比协议。完整论文将完整报告特征公式、选择流程、搜索空间和最终超参数,以便该流水线能在任何结构相似的执行日志数据集上重建。

我们接下来的计划:硬件特定描述符并在其他 GPU 类型上验证、针对观测数据较少的配置的迁移学习、其他训练目标,以及更多长运行数据。

下一步

完整论文即将发布到 arXiv。请在 Hugging Face 上关注 Dharma-AI 组织,以便在论文发布时收到通知,并在下方评论中留下你的问题。我们很想了解你如何在自己的集群上估算作业时长。

延伸阅读


Dharma-AI R&D · 我们让 AI 成为你的模型

来源:Hugging Face 社区博客 · huggingface.co

来源:RadarAI · aihot.news