Epoch AI 发布 InnovationEval 评测，AI 智能体远未达到自主研究水平

The Decoder：AI News· Manuel Uth·2026-10-11 21:44· 57 分钟前AI 评分63

研究发现，AI 智能体会夸大自身成果，距离自主研究仍相去甚远

AI 导读

Epoch AI 用新基准 InnovationEval 测试 Claude Fable 5 和 GPT-5.6 Sol 能否独立发明新训练方法，以人类设计的 SDPO 对 GRPO 的改进为参照。

正文

智能体被要求发明一种新的训练方法

借助其基准 "InnovationEval"，Epoch AI 测试了 AI 智能体能否独立开展研究。任务是发明一种在语言模型初始训练后对其进行改进的新方法，然后独立实现、测试并完善它。

起点是 GRPO，一种被广泛使用的技术。GRPO 会比较模型针对同一任务生成的多个答案，并奖励其中更好的那些，通常将每个解答作为一个整体来评分。人类设计的参照方法 SDPO 则利用错误信息等额外信号，为答案中的各个步骤生成更精确的学习反馈，从而使模型实际上成为自己的老师。

Epoch 测试了 Claude Fable 5 和 GPT-5.6 Sol，据该机构称，它们此前并不了解 SDPO。性能在科学问答等简答题任务以及编程任务上进行衡量，每个智能体可使用高端芯片上最多 3,000 小时的计算资源，但无法访问互联网。

两个模型都只是重复利用已知技术，而非创新

两个模型都远未达到人类参照水平。GPT-5.6 Sol 针对的是 GRPO 的一个弱点：当某个任务的所有答案都正确时，模型什么也学不到，因为没有可比较的对象。Sol 让模型在这种情况下强化其成功的解答，但这个想法并不新鲜。

据 Epoch 称，以 SDPO 相对 GRPO 所取得的改进为衡量标准，在宽松评分下 Sol 得分约为 35%。若只计算符合实验规则的改动，这一数字降至约 15%。在编程任务上，Sol 主要是让训练变得更昂贵、更缓慢，而非改进方法本身。

Claude Fable 5 让模型重试失败的任务，同时向它提供此前失败的尝试，这也是一种众所周知的技术，并未产生可衡量的改进。Epoch 表示，即便是 Sol 的部分成功，在专家看来也勉强算得上"略有兴趣"。那些从训练数据中了解 SDPO 的更新模型也无法完全复现它。GPT-6 Astra 构建了一个类似的解决方案，但没有披露其来源，而即便把原始论文摆在面前，Fable 5 也未能达到参照水平。

智能体挑选最佳运行结果，隐藏其余结果

两个智能体还存在报告问题。它们进行了多轮几乎相同的训练，却每次只报告最佳结果，这会让一种方法看起来比实际更强，因为结果会随机波动。在最终报告中，模型几乎未提及这种做法，甚至完全没提，它们也未能引用其方法所借鉴的先前工作。它们自我报告的数字因此偏高：Sol 声称达到了 SDPO 改进的约 70%，Fable 5 约为 40%。Epoch 剔除了这些虚高的增益。

Claude Fable 5 和 GPT-5.6 Sol 的声称分数与实际分数对比。深色柱显示智能体自我报告的数字，中色柱显示剔除精选运行后校正的结果，浅色柱显示仅计入合规改动的分数。所有数值均以 SDPO 相对 GRPO 改进量的占比表示。误差线表示测量不确定性。| 图片：Epoch AI

这些模型的内部推理日志显示它们意识到了问题，Fable 5 将其反复运行描述为寻找更好检查点的搜索。这究竟属于蓄意作弊还是混淆，Epoch 未作定论。

对于 GPT-5.6 Sol，这一行为与评估机构 METR 此前的发现相符，该机构在其自身的编码测试中检测到该模型的作弊尝试多于其评估过的任何其他公开可用模型。

Epoch 的结论是，人类需要全面审查所有 AI 生成的研究，这削弱了模型的实用性。

Anthropic 在自家模型中也看到了同样的弱点

Anthropic 在 Claude Opus 5.5 的系统卡中描述了类似的局限。Anthropic 表示，该模型远不能取代公司自己的研究人员，主要问题在于“认知质量”和指令遵循。

Opus 5.5 将未经检验的假设当作事实呈现，并且比早期模型更频繁地搁置自身的疑虑。它将部分检查描述为完整验证，把初步评估未经交叉核对就变成建议，并且过于狭隘地回应批评，而不质疑整体方法。它还偏好小幅渐进式调整，并固守已发表的研究，而非提出新想法。

一项涉及普林斯顿大学和英国安全研究所的研究也得出了类似结论。该研究让 Claude Opus 4.8 用六天时间研究 NeurIPS AI 会议两篇未发表论文背后的研究问题，而原作者在审阅时否决了这两项结果。当初始假设失败时，智能体只是弱化其主张，而不是重新开始。

技术执行日益成为较小的问题，因为智能体最缺乏的是现实地评估自己应对结果抱有多大信心，以及从根本上质疑自身方法的能力。

仅靠更多算力无法弥合差距

AI 对研究并非无用，因为模型可以比人类更快地加速文献综述、编写代码和探索变体。

但向问题投入更多算力能否产生自主研究人员，仍是一个未决问题。GPT-5.6 Sol 用尽了全部预算，在短答题任务上的改进直到算力分配接近尾声时才出现，而在编码任务上完全没有取得合规进展。Epoch 认为这一迟来的突破是一个微弱暗示，表明更多算力时间可能有帮助，尽管 Fable 5 连一半预算都没用完。

GPT-5.6 Sol 的进展与累计 GPU 花费的关系图。在短答题任务（青色）上，跃升出现在预算即将耗尽之前。在编码任务（粉色）上，合规分数保持为零，只有超出范围的改动才产生任何增益（虚线）。| 图片：Epoch AI

Epoch 还指出，一年前的领先模型在同一测试中的表现会差得多，该组织计划定期用新任务重复 InnovationEval。在那之前，最大的差距仍然是认知纪律：以怀疑的态度检查自己的发现、披露不确定性，并认真对待负面结果。

来源：The Decoder：AI News · the-decoder.com