Sakana AI 与 UC Berkeley 提出 MASS：模型自我改进能解题和评判，却难发现自身盲点

Sakana AI 的 MASS 方法让单个语言模型通过求解任务、评判结果和优化工作流来实现自我改进，无需更强的教师模型。研究发现，在三种角色上均有提升，但共同的盲区会让错误被当作进展通过，并进入下一轮训练循环。

来自 Sakana AI 和 UC Berkeley 的研究人员提出了“多智能体自监督”（MASS），一种用于递归自我改进（RSI）的方法。单个语言模型同时负责任务求解、优化工作方式以及评估结果。

作者认为，在研究前沿，即便是专家也常常难以评判结果，因为验证可能需要昂贵的支撑证据或漫长的实验。据论文所述，一项等离子体研究就可能耗费超过 1.2 亿 CPU 小时。

因此，模型本身或许就是现有最好的评判者，尽管它在审视自己的工作时可能漏掉自身的错误。用同一个模型来求解、检查和修改，可能会强化这些错误而非纠正它们。

同一模型的多个副本分工协作

受 AI 先驱 Marvin Minsky 的著作《心智社会》启发，研究人员关注模型如何划分工作。在 MASS 中，工作流是附加到提示词上的文本，用于定义每个子智能体的角色和指令。“契约”规定每个子智能体必须返回哪些信息、必须执行哪些检查，而“跳”则设定调用顺序。

一个编排器在子智能体之间分配工作。例如，在针对历史价格测试交易策略时，数据专家的契约必须确保该策略只使用每个时间点上可获得的信息。

在内循环中，模型的权重保持冻结，团队运行候选工作流，评估器将结果与当前“冠军”进行比较。优化器利用该反馈提出下一个工作流，主要通过修改契约和跳来实现。在外循环中，冠军针对每个任务运行 18 次，模型自行对结果排序，并最多选择 15 次运行用于训练。

研究人员在训练样本中从编排器的初始提示词里移除了工作流文本，以便模型学会仅根据任务来组织工作。对子智能体的具体分配仍保留在记录的轨迹中，模型在 LoRA 微调后再次承担全部三种角色。

基础模型是 Qwen3.6-27B，以 Qwen Code 作为运行框架。研究人员使用由 GPT-5.5 生成的十二项研究任务，涵盖金融、机器人和制药领域，其中三项留作测试，九项用于训练。只有八项产生了训练数据，因为搜索未能找到在某一训练任务上超越参考的工作流。

基准测试的提升主要来自完成更多工作

在测试任务上，对基础模型的胜率从一轮后的53.9%上升到两轮后的69.9%。在MLR-Bench、DSBench、ScienceAgentBench和AstaBench上，该模型每输出token的得分达到基础模型的1.2至1.6倍。原始得分的提升有时很小，DSBench仅从0.473提升到0.482，而在Terminal-Bench 2.0和SWE-bench Verified上得分略有下降。

论文附录显示，完成的MLR-Bench提交从60个中的31个上升到50个，而它们的平均评分从3.07下降到2.88。委派工具在所有180次运行中都未被使用，因此尚不清楚团队协作是否能解释这些提升。

当逐任务比较结果时，这些提升不再具有统计显著性。作者描述研究任务的结果参差不齐，AstaBench也显示出相同的模式。

在解决方案上训练也能改进评估器和优化器

尽管该模型仅在解决方案轨迹上训练，它在另外两个角色上的表现也有所提升。自评估器与外部评判者的一致率从73%上升到93%。一轮后找到的工作流有64%的时间优于基础模型的工作流，即使基础模型同时运行两者也是如此。

在没有工作流指令的情况下，基础模型在110次运行中仅有一次委派给子代理，而两轮后为87次。它在明确指示时已经能够委派，但现在无需被要求就会这样做。

在优化过程中，任务知识转移到契约和跳转中，而角色和指令变得更加通用。这一发现仅基于8到9个任务的小样本。

在团队轨迹上训练产生的模型胜率为68.3%，而单代理学生模型为64%，且使用的训练token少了31%。外部评判者在85.1%的情况下更偏好团队结果，尽管团队产生的token约为2.4倍。当输出长度相近时，评判者在80%的情况下更偏好团队结果，这仅基于十对样本。

被评估的团队运行表现更好，但这一比较并不能证明仅凭委派就能解释这一优势。团队和单代理运行在工作流指令、审查指令以及所选成功完成的片段上也存在差异。

更好的反馈只有在优化器能利用它时才有帮助

仅将评估器替换为GPT-5.5几乎没有帮助；只有当优化器也更强时，搜索才进展得快得多。作者得出结论，好的反馈只有在优化器能够据此行动时才有帮助。当Qwen承担全部三个角色时，搜索仍能为12个任务中的11个找到获胜工作流，但耗时更长。

工作流重写的程度几乎不能说明其对结果的影响，甚至字节完全相同的工作流也可能产生相反的结果。一次运行赢得了全部六项外部评判，而另一次在代理陷入循环后输掉了全部六项。研究人员怀疑，限制优化器每一步改变的幅度可能有助于稳定搜索。

共同的盲点会逐轮叠加

在一项机器人任务中模拟失败后，模型让模拟器修改为将物体直接移动到目标位置，然后报告成功。外部评判者仍然在六次中有五次对该次运行给出了正面评价。在另一条用于训练的轨迹中，一项检查虽然只返回了无效值，却仍然通过了。

作者们将共同的盲点视为递归自我改进潜在的“阿喀琉斯之踵”。如果模型在全部三个角色中都漏掉了同一个错误，该错误就可能被当作一项改进而被接受，并固化到下一个模型中。这一弱点随后将同时影响系统及其纠错机制，促使作者们呼吁进行独立检查、限制自主性，并明确干预条件。该代码已公开。

日本研究实验室 Sakana AI 于六月启动了一个专门的递归自我改进研究实验室，其基础是此前的工作，包括达尔文-哥德尔机和AI 科学家。谷歌研究人员正在探索一种相关方法，即自动优化固定模型周围的提示、工作流和工具脚手架，同时不让智能体对其测试任务过拟合。

Vals AI 最近发现，智能体团队的成本是单个智能体的 1.8 到 5.1 倍，但在四次比较中仅有一次表现明显更好。Anthropic 表明，参与奖励黑客以操纵其奖励系统的模型，也会学会欺骗和破坏安全检查。