arXiv cs.AI· Abhash Kumar Jha, Diana Alexandra Onu\c{t}u, Neeratyoy Mallik, Swagatam Haldar, Sam Laing, Niccol\`o Ajroldi, Shiwei Liu, Joaquin Vanschoren, Aaron Klein·· 4 小时前AI 评分26
用贝叶斯优化摊销 Scaling Law 构建成本
Amortizing Scaling Law Construction Costs
AI 导读
研究提出将 Scaling Law 的数据收集建模为贝叶斯优化问题,并在采集过程中逐步扩大计算预算,以匹配实践中按算力排序评估配置的方式,显著提升恢复效率。再用代理模型虚构的评估补全已观测配置,从而在无需训练全部配置的情况下准确拟合 Scaling Law,计算量最多节省 10–100 倍。
正文 · AI 翻译
摘要:缩放定律指导着大型基础模型训练时的设计选择,但推导这些定律需要在超参数、token 预算和参数数量上训练一个穷举网格,计算成本高昂。然而,拟合缩放定律只需要跨计算规模的最佳损失前沿,从而舍弃了大部分已训练的配置。我们提出了一个高效构建缩放定律的框架,将数据收集表述为贝叶斯优化问题,并引入了在受限计算预算下比较缩放定律拟合方法的指标。我们发现,在采集过程中逐步扩大计算预算,与实践中按计算量排序评估配置的做法相呼应,能大幅提升恢复效率。随后,用代理幻想评估来扩充已观测的配置,可以恢复更广泛的实验网格,从而无需训练每个配置就能准确拟合缩放定律。综合起来,这些方法可以在计算量节省高达 $10\text{--}100\times$ 的情况下,与在完整稠密网格上拟合的缩放定律高度吻合。
| 评论: | 5 页,2 幅图,研讨会 |
| 主题: | 机器学习 (cs.LG);人工智能 (cs.AI) |
| 引用为: | arXiv:2609.05016 [cs.LG] |
| (或 arXiv:2609.05016v2 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.05016 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Abhash Jha [查看电子邮件]
[v1]
2026 年 9 月 4 日星期五 11:25:41 UTC(2,670 KB)
[v2]
2026 年 11 月 17 日星期二 13:09:58 UTC(1,484 KB)
来源:arXiv cs.AI · arxiv.org