arXiv cs.AI· Zhiliang Chen, Sebastian Ament, David Eriksson, Maximilian Balandat, Bryan Kian Hsiang Low, Eytan Bakshy, Jihao Andreas Lin·· 2 天前AI 评分24
PLES：用幂律熵搜索高效估计最优超参数缩放律
Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search
AI 导读
研究者提出 Power-Law Entropy Search（PLES），一种基于多保真度贝叶斯优化的计算成本感知采集函数，通过自适应实验高效估计最优超参数缩放律。
正文 · AI 翻译
摘要：最优超参数缩放定律描述了大型语言模型（LLM）训练的最优超参数如何随模型和数据规模变化，使从业者能够在生产规模上预测最优配置，而无需进行昂贵的大规模调优。然而，传统上估计这些缩放定律需要对数千次训练运行进行穷举式网格搜索，消耗巨大的计算资源。我们提出了幂律熵搜索（Power-Law Entropy Search，PLES），这是一种基于多保真度贝叶斯优化的计算成本感知采集函数，通过自适应实验高效地估计最优超参数缩放定律。PLES 的一个关键创新在于，它搜索的是能够降低缩放定律估计整体不确定性的候选方案，而不是优化单一目标函数。在每次迭代中，PLES 选择每单位计算成本能最大程度降低缩放定律估计不确定性的候选配置，从而自然地倾向于信息量大的小规模实验。我们在合成基准、拟合真实 LLM 训练数据的代理模型以及实际 LLM 预训练运行上评估了 PLES。在所有设置中，PLES 收敛到准确的最优超参数缩放定律所需的计算预算不到传统网格搜索和其他基线方法的十分之一。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.01431 [cs.LG] |
| （或使用 arXiv:2609.01431v3 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2609.01431 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
发件人：Zhiliang Chen [查看电子邮件]
[v1]
2026年9月1日星期二 15:41:59 UTC（10,686 KB）
[v2]
2026年9月3日星期四 15:16:24 UTC（10,686 KB）
[v3]
2026年10月15日星期四 12:33:07 UTC（21,176 KB）
来源：arXiv cs.AI · arxiv.org