为什么微调任务比 FLOPs 估算更耗时:基于 272 次生产运行的端到端时长预测
为什么你的微调任务比 FLOPs 估算耗时更久:基于 272 次生产运行的端到端时长预测
基于 272 次真实 SFT 任务(约 7,382 GPU-hours,NVIDIA H200)的研究显示,传统 FLOPs 估算仅得 R²=0.31、MAE 12.41 h,而仅用调度前信息的 CatBoost 回归器在 5 折交叉验证下达到 R²=0.98、MAE 1.71 h、中位误差 0.51 h。
Hugging Face 社区博客·2026-11-19 02:53· 51 分钟前AI 评分46
为什么你的微调任务比 FLOPs 算出来的更耗时
AI 导读
研究基于 272 次真实 SFT 任务(约 7,382 GPU-hours,NVIDIA H200)对比 FLOPs 解析估算与学习型预测器。传统 FLOP 估算仅得 R²=0.31、MAE 12.41 h,而仅用调度前信息的 CatBoost 回归器在 5 折交叉验证下达到 R²=0.98、MAE 1.71 h、中位误差 0.51 h。
正文 · 原文
基于 272 次生产运行,预测共享 GPU 集群上的端到端微调时间。
这是我们即将发表的论文 Predicting End-to-End Fine-Tuning Time for Generative Language Models 的预览。完整版本将很快发布在 arXiv 上。
GPU 是当今 AI 领域最昂贵、最稀缺的资源之一。任何运行共享集群的人每天都必须决定:哪些任务分配到哪些 GPU 上,以及按什么顺序执行。这个计划的好坏取决于对每个任务耗时的估计。当任务提前数小时完成时,GPU 会闲置到下一个任务被调度为止。当任务延迟数小时时,排在它后面的一切都会顺延,实验等待,交付日期推迟。
更好的时长估计能把这一切从猜测变成规划:运行什么、何时运行、用多少块 GPU,以及减少中间的闲置容量。然而大多数团队使用的估计方法只是粗略的 FLOP 计算。它说九小时,任务却在第二天下午才完成。
我们想知道这种计算到底偏差多大,以及能否在任务被调度之前就做得更好。于是我们从 NVIDIA H200 GPU 生产池中选取了 272 个真实的监督微调(SFT)任务,总计约 7,382 GPU-hours,并将解析估算与学习型预测器进行了对比。
简而言之:常用的基于 FLOP 的估算几乎无法解释我们观察到的结果(R² = 0.31,MAE 12.41 h)。一个仅使用调度前可用信息的 CatBoost 回归器在 5 折交叉验证中达到 R² = 0.98,平均绝对误差 1.71 h,中位误差 0.51 h。这一差距来自闭式估算无法做到的两件事。该回归器能看到更多训练特有的信号,例如评估频率、检查点策略、每 GPU 负载和微调模式,并且它从过去的运行中学习这些信号之间的非线性交互。
大家都在用的估算只考虑计算量
对于稠密 Transformer,训练成本约为 6·P·D 次浮点运算,其中 P 是参数数量,D 是训练 token 数。将其除以你的 GPU 能提供的算力,就得到训练循环时间:
T_theoretical = (6 · P · D) / (N_GPU · FLOPS_peak · MFU)
这里 N_GPU 是 GPU 数量,FLOPS_peak 是单块 GPU 规格表上的峰值吞吐量,MFU(模型 FLOPs 利用率)是训练实际达到的峰值比例。真实任务永远不会以峰值运行,因为存在内存流量、通信和内核效率低下的问题,所以 MFU 通常在 30% 到 60% 之间,而特定任务的正确值事先并不知晓。
这是对优化循环的良好描述。但任务不止是它的循环。在第一步之前,有环境搭建、模型下载和加载以及分词。训练期间有定期评估和检查点上传。结束时,最终模型要上传到对象存储。在多租户集群上,所有这些都要与其他任务竞争网络和存储 I/O。
这些开销取决于配置,而且它们不会随工作负载或 GPU 数量整齐地扩展。两个名义计算量相同的任务可能相差数小时完成。
为保证比较公平,我们测试的 FLOP 基线同时计入调度评估 token 和训练 token,并在较大范围内扫描 MFU。
我们构建了什么
我们将端到端时长视为一个有监督回归问题。给定由作业配置和模型元数据构建的特征向量,预测从作业获得 GPU 到作业完成之间的实际耗时。排队时间不计入。
两个设计选择塑造了这项工作:
- 所有信息在调度前已知。 每个输入都来自提交的配置:超参数、数据集大小、模型标识符、GPU 分配。没有运行时日志,没有部分进度。这正是预测可用于调度的原因。
- 暴露开销的特征。 在原始配置之上,我们派生诸如
num_eval_data(所有评估周期中处理的样本数)、num_saves和num_params_saved(检查点 I/O)以及每 GPU token 量等量。FLOP 估计本身(MFU 固定为 0.45)作为另一个特征(baseline_time)输入,因此模型从纯计算数值出发并学习修正项。
我们比较了 Linear Regression、Ridge、XGBoost 和 CatBoost。特征选择结合了相关性过滤、互信息和置换重要性,覆盖 18 个候选特征集,随后以 MAE 为准则进行网格搜索。最终的 CatBoost 模型使用 24 个特征。
数据
- 272 次 SFT 运行,来自企业生产环境的运维日志,涵盖多个模型系列(最大 150 亿参数)、LoRA 和全量微调,以及广泛的数据集大小和超参数范围。
- 共享基础设施。 作业运行在 1、2 或 4 块 GPU 上,这些 GPU 来自 1 到 4 个节点上 8 到 32 块 H200 的池子,并与其他训练和推理工作负载共存。测量时间包含真实争用。
- 时长从 1.6 到 172.4 小时,平均 23.43 小时,中位数 15.29 小时。
- 技术栈: Hugging Face Transformers 和 Unsloth。我们将技术栈建模为分类特征,不对两者之间的固定加速比做任何假设。
272 次运行的端到端时长分布。平均 23.43 小时,中位数 15.29 小时。
结果
所有数字来自分层 5 折交叉验证。前四行是解析方法,不涉及拟合。
| 模型 | R² | RMSE(小时) | MAE(小时) |
|---|---|---|---|
| FLOP 基线(MFU 30%) | 0.31 | 20.45 | 12.41 |
| FLOP 基线(MFU 45%) | 0.18 | 22.38 | 13.01 |
| FLOP 基线(MFU 60%) | 0.01 | 24.56 | 14.62 |
| Calculon | −0.51 | 30.40 | 20.36 |
| Linear Regression | 0.69 ± 0.14 | 13.52 ± 4.23 | 7.52 ± 0.49 |
| Ridge | 0.73 ± 0.09 | 12.72 ± 3.70 | 7.23 ± 0.68 |
| XGBoost | 0.97 ± 0.01 | 4.18 ± 1.17 | 1.95 ± 0.32 |
| CatBoost | 0.98 ± 0.01 | 3.52 ± 0.78 | 1.71 ± 0.33 |
几点值得注意。
没有单一 MFU 值能修正 FLOP 基线。 我们将 MFU 从 0.25 扫描到 0.65。最佳设置 30% 在平均持续 23 小时的作业上仍留下超过 12 小时的平均误差。
更详细的解析模型也无法弥合差距。 作为第二个基线,我们采用了 Calculon(Isaev 等,SC '23),这是先前工作中用于 LLM 训练的解析性能模型。它构建显式的层图,并考虑计算、内存流量和设备间通信。我们扩展了公开实现以覆盖 LoRA、分组查询注意力、融合注意力、bfloat16 和 SwiGLU。其估计值仍仅对应观测实际耗时的中位数 11%。这并不否定 Calculon 作为步骤级工具的价值,那正是它的设计用途。它表明生产作业中有多大比例发生在优化步骤之外。
线性模型有帮助,但随后就停滞了。Ridge 将 MAE 降至 7.23 小时。配置与时长之间的关系无法被纯线性模型很好地捕捉。
梯度提升承担了主要工作。CatBoost 和 XGBoost 在每项指标上的差距都在一个标准差以内。我们选择继续使用 CatBoost,因为它在所有指标上的平均误差最低。
预测器依赖什么
CatBoost 的特征重要性集中在少数几个特征上。模型和工作负载变量如预期般出现,但评估和检查点变量也同样出现。num_eval_data,即作业生命周期内评估阶段处理的样本总数,排名第一,紧随其后的是 num_trainable_params、batch_eval_size_percent、num_all_params 和 num_gpus*batch_train_percent,num_params_saved 也紧随其后。SHAP 值讲述了同样的故事:高评估量持续推高预测时间,而可训练参数数量则具有非线性效应,只有在最大的模型上才会变得显著。
CatBoost 模型在各折上的平均特征重要性(PredictionValuesChange)。
特征重要性并非因果论断。不过,这一模式与作业实际耗时的方式相符。评估的频率、评估集的大小以及持久化的检查点数量,都会与模型和数据集规模一起影响实际耗时。这些是人们在编写训练配置时常常凭习惯做出的选择。
阅读图表时需要注意一点:更大的 GPU 分配量对预测时间显示出正贡献。在我们的数据中,更大的分配量伴随着更大的作业,因此 num_gpus 部分充当了作业规模的代理变量。这并不意味着增加 GPU 会让作业变慢。
误差有多大,以及在哪里
查看全部 272 个折外预测,绝对误差中位数为 0.51 小时。80% 的预测误差在 2.20 小时以内,90% 在 4.31 小时以内。按作业时长细分:
| 作业时长(小时) | 运行次数 | 绝对误差中位数(小时) | P90(小时) |
|---|---|---|---|
| 1.56 至 5 | 60 | 0.30 | 1.55 |
| 5 至 10 | 63 | 0.18 | 1.27 |
| 10 至 30 | 69 | 0.73 | 4.17 |
| 30 至 60 | 67 | 1.06 | 5.50 |
| 60 至 175 | 13 | 5.19 | 18.51 |
在 60 小时以内,中位误差保持在大约一小时或更少。长尾部分是模型表现不佳的地方,而超过 60 小时的运行仅有 13 次,我们将其视为数据限制。
折外绝对误差与真实时长的关系,按时长范围着色。误差在 60 小时以内保持较低,在稀疏的长尾部分扩大。
更多数据应该仍有帮助。在固定的 20% 留出集上,当训练分区从 85% 增加到 100% 时,MAE 从 1.63 小时降至 1.50 小时,且没有明显的平台期。
它适用于什么
在实践中,预测器为调度器提供了一个可以在作业开始前进行规划的时长:哪些作业可以一起运行、GPU 何时会空闲,以及某次运行能否在截止时间前完成。
局限性
- 仅限 SFT。我们没有包含其他训练和对齐策略,例如 RLHF、DPO 或 RLVR。
- 单一 GPU 类型。每次运行都使用 H200。拟合的模型是针对该基础设施校准的,不应期望在不重新训练的情况下在数值上迁移到其他 GPU 代际。面向混合池的预测器还需要硬件描述符,例如计算吞吐量、内存容量和带宽,以及互连拓扑。
- 极长运行很少。误差在超过 60 小时后会扩大。
真正可迁移的是方法:开销感知特征、多重共线性感知的选择以及对比协议。完整论文将完整报告特征公式、选择流程、搜索空间和最终超参数,以便该流水线能在任何结构相似的执行日志数据集上重建。
我们接下来的计划:硬件特定描述符并在其他 GPU 类型上验证、针对观测数据较少的配置的迁移学习、其他训练目标,以及更多长运行数据。
下一步
完整论文即将发布到 arXiv。请在 Hugging Face 上关注 Dharma-AI 组织,以便在论文发布时收到通知,并在下方评论中留下你的问题。我们很想了解你如何在自己的集群上估算作业时长。
延伸阅读
- GPU 管理:为什么闲置 GPU 是新的停飞飞机
- 同一个集群,利用率提高 33 个百分点:改变的是顺序
- 专门化 SLM 词表如何在真实应用中将推理成本降低 77%
- 专门化胜过规模:大多数 AI 采购决策忽视的一个战略变量
- 为什么专门化不可避免
- 更新的模型,同样的优势
- 超越聊天机器人的直接偏好优化
- 文本退化:大多数基准测试未追踪的一种生产故障模式
Dharma-AI R&D · 我们让 AI 成为你的模型
来源:Hugging Face 社区博客 · huggingface.co
来源:RadarAI · aihot.news


