跳到正文
热点事件持续更新

研究称调度前信息可高精度预测微调时长

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Hugging Face 社区博客作者 Dharma-AI 发布研究预览,提出用调度前信息预测生成式语言模型微调任务的端到端时长。该研究基于 272 次真实 SFT 生产运行(约 7,382 GPU-hours,全部使用 NVIDIA H200),称传统 FLOPs 估算仅得 R²=0.31、MAE 12.41 小时,而仅用调度前信息的 CatBoost 回归器在 5 折交叉验证下达到 R²=0.98、MAE 1.71 小时、中位误差 0.51 小时。 作者称这只是即将提交 arXiv 的论文预览,研究仅覆盖 SFT,未包含 RLHF、DPO、RLVR 等其他训练与对齐策略。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. RadarAI
    为什么微调任务比 FLOPs 估算更耗时:基于 272 次生产运行的端到端时长预测

    基于 272 次真实 SFT 任务(约 7,382 GPU-hours,NVIDIA H200)的研究显示,传统 FLOPs 估算仅得 R²=0.31、MAE 12.41 h,而仅用调度前信息的 CatBoost 回归器在 5 折交叉验证下达到 R²=0.98、MAE 1.71 h、中位误差 0.51 h。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。