LLM 能否预测机器学习实验的结果？

查看 PDF HTML（实验性）

摘要：AI 的最新进展使递归自我改进（RSI）变得越来越可行。大型语言模型（LLM）已经能够提出、选择并运行机器学习（ML）实验。然而，ML 中可能的设计选择空间非常庞大。一个提出实验的 LLM 需要可靠的直觉，来判断在长时间训练运行的时限约束下该实验是否值得运行。在本工作中，我们通过评估当前前沿 LLM 在自生成的 ML 实验想法投入训练运行之前对其影响的预测准确程度，来衡量这种直觉。为此，我们构建了一个包含 288 个由 LLM 提出的想法、覆盖八个 MLE-bench 任务的数据集。随后，我们提示五个前沿 LLM（GPT-6 Astra、Claude Opus 5.5、Claude Fable 5.1、Kimi K3 和 GLM-5.3）预测每个想法的影响，并将它们的预测与训练后的实际结果进行比较。我们报告四项主要发现。第一，LLM 的预测显著优于随机猜测，但远谈不上准确：即使是最好的模型 Claude Opus 5.5，也只能解释结果方差的一半（R^2 = 0.49）。第二，我们注意到所有被测模型都系统性地低估了变化的幅度。第三，预测质量在不同任务之间差异很大。最后，实际实现这些想法的编码框架选择对结果影响很小，我们也没有发现自我偏好的证据。更高的推理设置和额外的上下文会带来适度提升。总体而言，我们的结果表明，当前 LLM 对于哪些 ML 想法会奏效具有有用但有限的直觉。我们发布数据集以支持进一步研究。

提交历史

来自：Artem Lukoianov [查看电子邮件]
[v1] 2026 年 10 月 15 日星期四 19:51:50 UTC（306 KB）