JoBS：用缩放律预测器联合优化LLM训练配置

1. 12:00
   arXiv cs.AI

   JoBS：用缩放定律预测器重构贝叶斯优化，联合优化 LLM 训练配置

   论文提出 JoBS，一种基于贝叶斯优化的方法，可在不每次迭代都完整训练 LLM 的前提下联合优化数据与模型配置。JoBS 先用部分预算学习一个受缩放定律启发的性能预测器，仅凭少量训练步数估计完整训练后的表现，再用剩余预算运行 BO，从而在同等预算内探索更多配置。实验显示其在多种下游任务上优于独立优化数据与模型的方法及现有多保真度 BO 基线，代码已开源。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。