arXiv cs.AI· Zhiliang Chen, Alfred Wei Lun Leong, Shao Yong Ong, Apivich Hemachandra, Gregory Kang Ruey Lau, Chuan-Sheng Foo, Zhengyuan Liu, Nancy F. Chen, Bryan Kian Hsiang Low·· 13 小时前AI 评分26
JoBS：用缩放定律预测器重构贝叶斯优化，联合优化 LLM 训练配置
Rethinking Bayesian Optimization for Co-Optimizing LLM Training Configurations
AI 导读
论文提出 JoBS，一种基于贝叶斯优化的方法，可在不每次迭代都完整训练 LLM 的前提下联合优化数据与模型配置。JoBS 先用部分预算学习一个受缩放定律启发的性能预测器，仅凭少量训练步数估计完整训练后的表现，再用剩余预算运行 BO，从而在同等预算内探索更多配置。实验显示其在多种下游任务上优于独立优化数据与模型的方法及现有多保真度 BO 基线，代码已开源。
正文 · AI 翻译
摘要：微调 LLM 以在下游任务上实现性能最大化，需要找到最优的数据与模型配置。这是一个黑盒优化问题，贝叶斯优化（BO）通过依次评估训练配置，并利用观测到的性能反馈自适应地引导搜索走向更优配置来解决该问题。然而，直接将 BO 应用于数据-模型联合空间会面临两个根本性挑战：每次迭代进行完整 LLM 训练的成本过高，以及由于问题维度高，有效探索需要大量 BO 迭代。本文提出 JoBS，一种基于 BO 的方法，可在无需每次迭代都进行完整训练的情况下协同优化数据与模型配置。JoBS 将优化预算的初始部分用于学习一个受缩放定律启发的性能预测器，该预测器仅根据少量训练步骤即可估计完整训练后 LLM 的性能。剩余预算则用于使用该预测器运行 BO，从而无需完整训练运行，并使 JoBS 能在相同预算内探索显著更多的数据与模型配置。我们分析了 JoBS 的平均遗憾，并推导出预测器学习与 BO 迭代之间的最优预算分配。在实证上，JoBS 在多种下游任务上优于独立的数据与模型优化方法以及现有多保真度 BO 基线。我们的代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.08351 [cs.LG] |
| （或 arXiv:2602.08351v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.08351 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhiliang Chen [查看电子邮件]
[v1]
2026年2月9日星期一 07:33:40 UTC（7,986 KB）
[v2]
2026年2月19日星期四 01:32:53 UTC（7,986 KB）
[v3]
2026年10月28日星期三 07:55:31 UTC（7,655 KB）
来源：arXiv cs.AI · arxiv.org