Sakana AI 提出 MASS：用多智能体自监督实现递归自我改进

多智能体自监督
通过集体智能实现递归自我改进

为了超越人类积累的知识，AI 本身（被优化者）也可能同时是其最佳可用的优化器和评估器。MASS 反复优化多智能体工作流，然后从多智能体系统中提炼集体智能，并将其用作 RSI 的自监督信号。在研究基准上，它相比基础模型提升了每输出 token 的得分。我们希望 MASS 能为 AI 的奥德赛时刻做出贡献：在被优化者即评估者、优化器即被优化者的设定中持续自我学习。

预计阅读时间：15 分钟

† 在 Sakana AI 实习期间完成的工作。

Engraving of a printing workshop around 1600: workers set type on the left, operate a press on the right, and lay out printed sheets for proofreading in the foreground. — **图 1. 从共同工作到共同知识。** 这幅版画展示了排版、印刷和校对作为一个协同过程的各个环节。书籍将成果带出工坊，其他人可以从中学习并在此基础上继续发展。MASS 借鉴了一个相关的理念：一个团队的集体工作可以为其成员共享的模型提供训练样本。 Jan Collaert I，据 Stradanus，*《印刷术的发明》*，约 1600 年。大都会艺术博物馆，Harris Brisbane Dick 基金，1934 年。公有领域（CC0）。

我们希望前沿 AI 模型能带我们超越人类历经数代积累的知识体系。在那个前沿，即便是人类专家也可能难以评估结果并指导进一步进展，尤其是在不可验证的任务上。例如，评估一项提出的发现可能需要稀缺的专业知识、昂贵的证据，或者耗时远超生成该提案的实验。此时，模型本身可能不可避免地成为最有力的可用监督者，并需要自行摸索如何改进。这促成了同质递归自我改进（RSI），即被改进的模型（被优化者）同时充当自身的优化器和评估器。核心问题在于，如何在这个同质循环中获得有用的自监督。

人类社会为解决这个问题提供了一个有用的类比。从觅食社群、农耕聚落、工业社会到全球信息网络，人们扩展自身能力的方式部分在于分工、融合想法并传承所学。集体成就成为进一步学习的起点。在《科学革命的结构》中，Thomas Kuhn 强调了科学家借以学会识别和解决问题的共享范例。因此，一个科学共同体的成就成为其成员学习开展新工作的一部分。

受这一模式启发，我们提出：模型能否从自身团队的集体智能中学习，而这是单独工作的智能体可能无法可靠展现的。

我们提出多智能体自监督（MASS），将这一理念转化为一个学习循环。MASS 使用同一个模型作为执行者、优化器和评估器。优化器首先利用评估器的反馈搜索最佳团队工作流，然后基于自评为最佳的团队的执行结果训练执行者。更新后的模型随后承担全部三个角色，该过程重复进行。因此，MASS 通过将团队的集体经验提炼进共享模型，为 RSI 提供了一种自监督信号。

同质 RSI

我们研究同质 RSI，其中同一个共享语言模型同时充当任务求解智能体、工作流优化器和评估器：

智能体

任务求解者，或称被优化对象。产出一个包含结果、图表和研究报告的工作区。

工作流优化器

利用评估器的反馈来修改智能体如何划分任务、交换结果以及相互检查彼此的工作。

评估器

比较两个工作区，选择哪个更好地满足任务，并解释其判断。

我们使用不可验证的研究任务作为训练数据。我们用不可验证来表示自动的基于规则的信号不可用，只有自我评估信号（其正确性未知）引导整个学习循环。

为了衡量进展，我们分别让 GPT-5.5 和 Claude Opus 4.8 评估已完成的工作。它们的判断对 MASS 保密。这为我们提供了一个外部衡量标准，用于评估一个监督来自模型自身的过程中的改进。

MASS 如何工作

MASS 使用工作流优化来激发集体智能，然后将团队的经验蒸馏到共享模型中。内循环在模型权重保持固定的情况下优化团队的工作流。模型自行评估和判断哪种工作流最优。外循环随后通过从优化后工作流的执行中学习来更新这些权重。下面的交互式图表展示了这两个循环。

← 滑动查看完整图表 →

图 2. MASS。工作流搜索改变了智能体协调的方式。对选定执行进行训练将其经验带入共享权重。更新后的模型随后恢复全部三个角色。此动画演示了该过程。拖动进度条可浏览动画的任意部分，包括暂停时。将鼠标悬停在组件上可查看详情，或选择它跳转到相应说明。正文中带下划线的术语链接到图表。

0. 设置：工作流作为提示词

工作流是关于多智能体团队应如何协作的书面计划。编排器将工作分配给子智能体并整合它们的结果。该计划被添加到任务提示词中，使团队的组织结构可供模型检查和修改。它包含四个组成部分：

角色：分配给每个子智能体的职责，例如准备数据。
指令：该子智能体应执行的工作。
契约：它必须返回的信息和产物，包括任何必需的检查。
跳转：子智能体调用的顺序，包括任何返回较早步骤的情况。

例如，一个演化出的金融工作流将数据准备、特征构建、建模和回测安排成一个序列，随后进行审计。其数据契约要求对数据的时序进行明确检查：

演化出的金融工作流，摘自论文

Call order
  Data → Features → Modeling → Backtest
       → Audit → Reconciliation → Report

Data specialist's output contract
  validation_report:
    no_future_leakage:           bool
    train_end_before_val_start:  bool
    val_end_before_test_start:   bool

如果回测允许历史决策使用来自未来的信息，它可能看起来很有说服力。该契约要求数据专家检查这一错误，并报告时间划分是否有效。它还告诉后续智能体在继续之前应收到哪些证据。因此，研究计划的一部分体现在智能体必须确立并相互传递的内容中。

1. 内循环：搜索更好的工作流

对于每个训练任务，MASS 保留一个冠军：根据当前模型的判断，这是迄今为止找到的最佳工作流。每次迭代包含三个步骤：

1执行。团队遵循候选工作流并生成一个工作区。
2评估。评估器将此工作区与冠军的工作区进行比较，并说明哪个更好。胜出的候选者成为新的冠军。
3修订。优化器利用反馈历史来提出下一个工作流。

评估器评判已完成的工作；优化器利用该评判来修订产生该工作的流程。优化器的系统提示强调契约和跳数，将工作流搜索导向智能体交换什么信息以及何时接收信息。

2. 外循环：从选定的团队中学习

即使有了优化的工作流，长时程研究工作的质量也可能因运行而异。因此，MASS 使用多个随机种子执行自评判的最优工作流（或冠军工作流，即迄今为止找到的最优工作流），并使用当前模型对生成的工作区进行排序，保留排名最高的轨迹。每条轨迹记录编排器及其子智能体的消息、工具调用和工具结果。

1对每个任务运行冠军工作流 18 次。
2使用当前模型比较并排序生成的工作区Bradley–Terry 模型将成对偏好转换为每个工作区的分数。。
3每个任务保留最多 16 条轨迹：15 条用于训练，1 条用于验证。
4在构建训练样本时，从编排器的初始提示中移除工作流文本。
5使用 LoRA 在编排器和子智能体对话上微调共享模型。模型的输出是训练目标；任务提示和工具结果提供上下文。

从编排器的训练提示中移除工作流，鼓励模型从任务本身学习如何组织工作。

结果

我们在 qwen-code 编码智能体环境中，从 Qwen3.6-27B 开始运行了两轮完整的 MASS。我们的合成研究套件包含 12 个任务，涉及金融、机器人和制药领域，每个任务都需要代码、定量结果和研究报告。其中九个任务被指定用于训练，三个任务（每个领域一个）被留出用于后训练。最终有八个任务提供了训练数据一个训练任务被排除，因为工作流搜索未找到优于其参考的工作流。任务描述由 GPT-5.5 在实验前生成。在 MASS 中，当前的 Qwen 模型提供工作流反馈和训练数据选择。三个测试任务被排除在微调、验证和检查点选择之外，尽管工作流搜索也在它们上面进行评估。。

我们比较了三代模型：基础模型 \(\mathcal{L}^{(0)}\)、第一轮模型 \(\mathcal{L}^{(1)}\) 和第二轮模型 \(\mathcal{L}^{(2)}\)。我们考察它们的工作质量、组织和评判工作的能力，以及在未提供工作流的情况下对协调的运用。

更好的任务表现

在三个合成测试任务上，相对于基线的胜率从一轮后的53.9%上升到两轮后的69.9%（表1）。第二轮模型在与第一轮模型的比较中也赢得了60.8%的胜出率。

**表1. 合成任务性能。**外部评判在八个训练任务和三个从后训练中留出的任务上的胜率。所有模型接收任务提示，但没有优化的工作流。
评估任务	第1轮 vs. 基线	第2轮 vs. 基线	第2轮 vs. 第1轮
训练任务	65.6%	82.5%	68.1%
测试任务	53.9%	69.9%	60.8%

为了测试超出合成研究套件的迁移能力，我们评估了公开基准。经过两轮后，在MLR-Bench、DSBench、ScienceAgentBench和AstaBench上，每个输出token的得分达到基座模型水平的1.2–1.6倍（图3）。

Benchmark scores versus output tokens for the base model and two MASS generations. Round-two score-per-token ratios relative to the base are 1.60 for MLR-Bench, 1.35 for DSBench, 1.20 for ScienceAgentBench, 1.28 for AstaBench E2E-Hard, 0.96 for Terminal-Bench 2.0, and 0.94 for SWE-bench Verified. — **图3. 公开基准性能。**每个箭头连接基座模型（蓝色）到经过两轮MASS后的模型（绿色）。标签报告每个输出token得分变化相对于基座值的倍数。误差条显示各次试验的标准差。转载自论文图2；附录C.5给出了基准协议和试验次数。

在四个类似于训练任务的研究基准上，增益最强。在Terminal-Bench 2.0上，每个输出token的得分为基座值的0.96倍，在SWE-bench Verified上为0.94倍，表明迁移仍然不均衡。我们怀疑这种泛化问题可以通过在训练数据中引入软件工程任务来轻松解决。

观察1. RSI中的角色泛化

我们观察到MASS在RSI中实现了角色泛化。我们仅在任务解决轨迹上训练模型，并观察到工作流优化器和工作区评估器的能力也得到提升。这使得RSI循环可持续。

Cumulative number of tasks with a workflow unanimously preferred to the base model without a workflow. Later MASS generations reach more tasks in fewer search iterations. — **图4. 角色泛化。**后续代际更早找到成功的工作流。每条曲线在所有三个角色中使用一个模型代际。当一个任务的所有六个外部判断都偏好候选输出而非基座模型无工作流的输出时，该任务被计数。曲线记录每次迭代是否已找到成功；后续候选仍可能表现更差。

图4显示，随着循环进行，优化器可以更快地找到成功的工作流。

事实上，图4在技术上并不是一个非常公平的比较，因为\( L^{(0)}\)表示基座模型（优化器）更新基座模型（被优化者）的设置，而\( L^{(1)}\)表示第一轮模型（优化器）更新第一轮模型（被优化者）的设置。为了公平比较，我们将第一轮模型的工作流提供给基座模型（表2）。我们观察到，带有第一轮搜索工作流的基座模型在与带有基座搜索工作流的基座模型的比较中赢得了64%的胜出率。每组工作流都是使用其代际的执行器、评估器和优化器发现的。迁移测试在评估期间保持执行权重固定。它并未在搜索期间将优化器与其他角色隔离。表2清楚地表明优化器的能力有所提升。

**表2. 工作流迁移。**在突出显示的比较中，同一个基座模型执行两组工作流。外部评判评估生成的工作区。
执行器	工作流来源	比较对象	胜率
第1轮	第1轮搜索	基座执行基座搜索工作流	80%
基座	第1轮搜索	基座执行基座搜索工作流	64%
基座	第1轮搜索	基座无工作流	63%

评估器也更接近强大的外部模型评判者（更多细节见论文）。在三个周期中，与这些外部评判者的一致性从73%上升到93%。总体而言，这些结果表明，任务求解示例也能提升用于生成和选择下一轮训练数据的能力。

消融1：最优工作流最大化信息流

究竟是什么让最优多智能体工作流如此有效？

我们分析了冠军工作流（迄今为止找到的最佳工作流）的角色、指令、契约和跳数。对于每个组件，我们估计其文本揭示了关于任务的多少信息。在上面的金融示例中，诸如“细心的数据科学家”这样的角色可能适用于许多任务。而一个为交易回测指定泄漏检查的契约则更具辨识度。我们使用text-embedding-3-large和all-mpnet-base-v2，采用未调整和置换调整的估计器，估计工作流组件嵌入与任务描述之间的互信息。这些统计量描述的是工作流文本，而非执行期间交换的消息。样本仅覆盖8–9个任务；工作流内的智能体并非独立的任务重复。

Changes in estimated task information from search iteration 3 to 11. Roles and instructions decrease overall, while contracts and call order increase, across two embedding models and two estimator variants. — **图5. 任务信息向契约和调用顺序转移。**曲线显示的是相对于第3次迭代的变化。到第11次迭代时，在两种嵌入模型和两种估计器下，估计的任务信息在角色和指令中下降，在契约和跳数中上升。中间变化不必单调，且纵轴尺度不同。

图5显示，在工作流优化的第一次和最后一次迭代之间，最优多智能体工作流倾向于将任务信息更多地编码在契约和跳数中，而更少地编码在角色和指令中。我们在此未展示，但各组件之间的相互依赖通常也会降低（有趣！）。这一模式表明，LLM优化器使工作流组件演化为相互独立，但通过契约和跳数优化信息流（深入直观的解释见这篇博客文章）。我想说，对离散组件进行工作流优化，类似于为该工具空间发现一个基向量。

观察2：多智能体轨迹提供密集的RSI信号

我们观察到，在RSI中，来自多智能体系统的轨迹可能比来自单智能体的轨迹更有效。多智能体执行也改变了训练数据的结构。编排器的对话展示了如何将宽泛的任务分解为聚焦的分配并协调其执行。子智能体的对话展示了如何执行单个分配。具体而言，我们观察到，联合学习来自编排器的协调和来自子智能体的有界执行，相比从长单智能体轨迹中学习，能提供每训练token更有效的监督（图6）。

我们比较了从同一基础模型独立训练的学生，分别使用单智能体轨迹（S、S⁺、S⁺⁺）、多智能体轨迹（M、M⁺）以及混合（X）。加号表示更大的训练集；M⁺是第一轮MASS模型。以下所有点报告的结果均汇总自四个训练任务和一个测试任务。

Win rate against the base model versus supervised tokens processed. Multi-agent student M reaches 56.0% at 3.64M tokens; M+ reaches 68.3% at 28.82M. Single-agent students S, S+, and S++ reach 44.0%, 59.0%, and 64.0% at 1.82M, 9.11M, and 42M tokens. — **图 6. 每个监督训练 token 的性能。** 多智能体学生位于连接观测到的单智能体结果的直线之上。分数汇总了四个共享训练任务和一个测试任务。token 计数包括在所选检查点之前处理的监督目标，包括重复采样；不包括数据生成、搜索和评估。

与基础模型相比，M⁺ 在处理 28.8M 监督训练 token 后达到 68.3% 的胜率，而 S⁺⁺ 在处理 42M token 后达到 64.0%。因此，MASS 模型以少 31% 的监督 token 实现了对该参考模型的更高分数。第一轮数据集存储了 17.2M 监督 token。通过有放回采样并平衡编排器和子智能体示例，在所选检查点之前产生了 28.8M 已处理监督 token。这衡量的是对训练目标的暴露，包括重复示例。它不包括后续更新、输入 token、验证、数据生成、搜索和评估。

更高质量的轨迹可能促成了这一优势。在一项单独分析中，强外部评判者在与单智能体输出的 85.1% 比较中更偏好多智能体系统的工作。团队运行平均生成的 token 也约为 2.4 倍。在十个生成轨迹长度相似的配对中，对团队输出的偏好仍为 80%。这一比较匹配的是观测长度，而非生成预算。各组在工作流和验证指令上也存在差异，因此该比较并未隔离委派的影响。这些外部判断仅用于本分析，不指导 MASS。但是，当我们比较 SFT 期间使用的监督 token 时，我们发现多智能体轨迹可以提供比单智能体轨迹更密集的学习信号。

这些结果表明，在 RSI 中，多智能体系统的轨迹可能比单智能体的轨迹更有效，将其价值扩展到测试时扩展之外。

观察 3. RSI 瓶颈可能是优化器，而不是评估器

我们观察到，RSI 中的瓶颈可能是优化器，而不是评估器。我们保持基础模型作为任务求解器，仅将更强的外部模型（GPT-5.5）换入评估器，或同时换入评估器和优化器。

Line plot of tasks won against the bare base model versus workflow-search iteration for several configurations. GPT-5.5 as evaluator and optimizer reaches 12 tasks by iteration 5. GPT-5.5 as evaluator only reaches 10 tasks. The all-base-model loop reaches 11 tasks by iteration 13. Variants with different search histories are also shown. — **图 7. 工作流搜索消融。** 按搜索迭代次数，进化后的工作流击败裸基础模型的任务数量。执行器始终是基础模型 \(\mathcal{L}^{(0)}\)。将评估器和优化器都升级到 GPT-5.5（橙色，虚线）可在 5 次迭代内为全部 12 个任务找到获胜工作流。仅升级评估器（绿色）帮助小得多。完全同质的循环（蓝色）较慢，但仍达到 12 个任务中的 11 个。

图 7 显示，仅升级评估器帮助不大，但同时升级优化器帮助很大。严格同质的自我改进循环最终确实为 12 个任务中的 11 个找到了获胜工作流；只是需要更长时间。我们的解释是，强评估器可能提供高质量反馈，但弱优化器没有足够能力消化它。这表明，在有限预算下，在 RSI 循环单元内可能必须优先考虑优化器而非评估器。

Win rate against the base model without a workflow across workflow-search iterations. The curves for all configurations fluctuate, with strong iterations followed by sharp regressions. — **图 8. 工作流搜索稳定性。**基础模型在每次搜索迭代中，针对同一模型执行每个候选工作流（无工作流）的胜率。颜色与图 7 中的配置一致。强势迭代之后可能紧随急剧的性能回退。

图 8 还表明，工作流搜索是有噪声的。在文本空间优化中，达到一个好的工作流与稳定地改进它是两个不同的问题。这表明，LLM 优化器可能需要一种相当于学习率调度器的机制，以稳定文本空间中的搜索。

结论

在丁尼生的《尤利西斯》中，奥德修斯想象了另一次航行，以追求“超越人类思想极限”的知识。对于 AI，我们想象一个奥德修斯时刻：持续学习必须在没有更强监督者的情况下进行。这一挑战既涉及谁能监督进一步的学习，也涉及应如何评判进展。人类专家或许能够陈述一个目标，却无法指定一个能完全捕捉该目标的 objective function。

写作就是一个很好的例子：专家写作者能够识别出优秀的写作，却难以将其判断表达为一种能在各种情境下可靠适用的评分标准。对于 RSI，研究问题在于 AI 如何将不完整的人类指导转化为有用的学习标准，以及如何检验这些标准在其能力增长时是否仍能捕捉到预期目标。当被改进的模型同时充当自身的优化器和评估器时，这一点尤其具有挑战性：指导改进的判断本身也必须保持可被纠正。

Wood engraving of a rowboat carrying several men toward a sailing vessel, with a mountainous coastline in the background. — **图 9. 丁尼生《尤利西斯》（1857 年）插图。**克拉克森·斯坦菲尔德绘制；W. J. 林顿雕版。乔治·P·兰多扫描，The Victorian Web。

让系统的自我评估保持可被纠正，对安全也至关重要。在同质循环中，共同的盲点可能使一个有缺陷的结果被产生、被接受为改进，并被纳入下一个模型。如果人类也难以识别该缺陷，连续的更新可能会强化它。安全方面的担忧在于，同一种弱点可能同时损害系统的行为和本应用于纠正它的机制。

从这个意义上说，共同盲点可能是递归自我改进的阿喀琉斯之踵。理解它们对于控制一个能力更强的系统很重要，因为它揭示了在哪些地方依赖系统自身判断最缺乏正当性。这种认识可以指导独立检查、对自主行动的限制以及干预条件。仅识别出弱点并不能确立控制；我们还必须证明，随着系统变化，我们能够检测其后果并进行有效干预。

OpenAI 关于思维链可监控性的研究说明了这一挑战的一部分：推理轨迹有助于揭示不当行为，但它们提供的证据并不完整。近期对可能出现的智能爆炸的分析，为尽早研究这些条件提供了更多理由。这是 AI 奥德修斯时刻的一个核心安全问题：在没有更强监督者可用时，如何保持有意义的监督。⛵