研究构建288个实验想法数据集评测LLM预测能力

Ayush Bansal 等作者构建了一个包含 288 个由 LLM 提出的机器学习实验想法的数据集，覆盖八个 MLE-bench 任务，用于评测前沿 LLM 在训练前预测实验效果的能力。 研究让 GPT-6 Astra、Claude Opus 5.5、Claude Fable 5.1、Kimi K3 和 GLM-5.3 五个前沿模型分别预测这些想法的影响。报道未给出预测准确度的结论。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。