arXiv cs.CL· Suze van Adrichem, Luke Bailey, Rohith Kuditipudi, Christine Ye, Neil Band, Ahmed Ahmed, John Duchi, Percy Liang, Tatsunori Hashimoto·· 10 小时前AI 评分38
Hinted Scaling Laws：用提示信息改进下游扩展律预测
Hinted Scaling Laws
AI 导读
研究者提出 hinted scaling laws，通过特权信息把基准测试转成一系列更简单的版本，让小模型也能得到非零准确率，从而在噪声阈值以下拟合扩展律。
正文 · AI 翻译
摘要：缩放定律通过从更小、更便宜的运行中推断趋势，来预测大型、昂贵训练运行的结果。在下游准确率评估中，当更便宜的运行所产生的较弱模型得分接近零准确率时，这些预测就会失败，因为这些分数没有提供可外推到更大规模的趋势。我们引入了提示缩放定律（hinted scaling laws），它利用特权信息将基准转化为一系列更简单的版本，使即使小模型也能获得高于零的分数。我们发现，准确率随提示水平平滑且可预测地上升，从而催生了能够在噪声阈值以下运行的新型缩放定律。在 Delphi 预训练阶梯上，仅用最多 $10^{20}$ FLOPs 训练的模型拟合出的提示缩放定律，对 $10^{23}$ FLOP 模型的 GSM8K 准确率（25.9%）预测误差在 3 个百分点以内；而标准缩放定律在相同模型上拟合时低估了 13 个百分点，即使拟合中纳入高达 $10^{22}$ FLOPs 的模型也低估了 12 个百分点。在这个预训练阶梯以及一组后训练模型家族中，提示缩放定律将 GSM8K、AIME 和 HLE 的中位预测误差从 21 个百分点降低到 4.3。提示还通过扩大模型之间的准确率差距（同时大致保持其排序）减少了判断一个模型是否优于另一个模型所需的测试样本数量：对每个问题单次提示 rollout 对几乎无法区分的模型进行排序的准确度，与五次无提示 rollout 相当。我们的结果表明，提示是一种通用原语，可用于提高下游缩放定律及模型开发中其他预测任务的准确性和成本效益。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02270 [cs.LG] |
| （或 arXiv:2611.02270v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.02270 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Suze Van Adrichem [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 22:50:43 UTC（1,120 KB）
来源：arXiv cs.CL · arxiv.org