arXiv cs.AI· Lingbei Meng, Rui Huang, Zhirong Shen, Jinxin Liu, Lingxiao Jing, Haorui Chen, Yaosong Du, Haowei Lin·· 3 天前AI 评分31
SLDBench v2：主动式缩放定律发现
SLDBench v2: Active Scaling Law Discovery
AI 导读
SLDBench v2 将缩放定律发现场景从 8 个扩展到 127 个，覆盖语言模型预训练、下游性能和视觉语言迁移，并从中选出 30 个参考幂律拟合 R² ≤ 0.8 的挑战场景。
正文 · AI 翻译
摘要：缩放定律可根据小规模实验预测大模型性能，但找到可靠的定律本身就需要昂贵的实验。SLDBench 测试语言模型智能体在全部实验结果预先给出的情况下能否发现缩放定律。我们推出 SLDBench v2，包含两项扩展。第一，我们将语料库从 8 个场景扩展到 127 个场景，涵盖语言模型预训练、下游性能和视觉-语言迁移，并选出 30 个具有挑战性的场景，在这些场景上参考幂律拟合的 $R^2 \le 0.8$；它们代表至少 $1.09 \times 10^{23}$ FLOPs 的来源报告训练计算量。第二，我们引入主动缩放定律发现：智能体选择要运行哪些实验，为每个实验支付其记录的成本（例如训练 FLOPs），并在结果到达时修正其定律，评分标准与被动设置中相同的隐藏外推目标一致。在 8 个前沿智能体系统中，中位数 $R^2$ 从 0.72-0.75（被动）降至 0.24-0.57（主动），预测误差上升 1.5-4.7 倍，具体取决于系统。智能体偏好廉价实验，平均花费全池成本的 8-44%；低成本获取可以产生强预测，但廉价购买也会使外推所需的实验条件未被观测。因此，在盛行的 AI-for-AI 研究中，实验规划仍然是协助模型开发的智能体面临的关键开放挑战。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16297 [cs.LG] |
| （或本版本使用 arXiv:2610.16297v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.16297 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zhirong Shen [查看电子邮件]
[v1]
2026年10月12日星期一 07:23:23 UTC（233 KB）
来源：arXiv cs.AI · arxiv.org