Sakana AI 提出 MASS：用多智能体自监督实现同质递归自我改进

Hacker News：AI 热帖· hardmaru·2026-10-12 06:22· 4 小时前AI 评分51

通过集体智能实现递归自我改进

AI 导读

Sakana AI 发布 MASS（Multi-Agent Self-Supervision）方法，让同一模型同时担任执行者、工作流优化器和评估者，将多智能体团队的集体经验蒸馏为递归自我改进（RSI）的自监督信号。

正文

Multi-Agent Self-Supervision
通过集体智能实现递归自我改进

为了超越人类积累的知识，AI 本身（被优化者）可能也是其最佳可用的优化器和评估器。MASS 反复优化多智能体工作流，然后从多智能体系统中蒸馏集体智能，并将其用作 RSI 的自监督信号。在研究基准上，它提升了每个输出 token 相对于基础模型的得分。我们希望 MASS 有助于 AI 的奥德赛时刻：在被优化者即评估者、优化器即被优化者的环境中持续自我学习。

预计阅读时间：15 分钟

† 在 Sakana AI 实习期间完成的工作。

Engraving of a printing workshop around 1600: workers set type on the left, operate a press on the right, and lay out printed sheets for proofreading in the foreground. — **图 1. 从共享工作到共享知识。** 这幅版画展示了排版、印刷和校对作为协调流程的组成部分。书籍将成果带出工坊，其他人可以从中学习并在此基础上继续发展。MASS 借鉴了一个相关的理念：团队的集体工作可以为其成员共享的模型提供训练样本。 Jan Collaert I，据 Stradanus，*《印刷术的发明》*，约 1600 年。大都会艺术博物馆，Harris Brisbane Dick 基金，1934 年。公有领域（CC0）。

我们希望前沿 AI 模型能带我们超越人类世代积累的知识体系。在这一前沿，即便是人类专家也可能难以评估结果并指导进一步进展，尤其是在不可验证的任务上。例如，评估一项提出的发现可能需要稀缺的专业知识、昂贵的证据，或耗时远超生成该提案的实验。此时，模型本身可能不可避免地成为最可用的监督者，并需要自行摸索如何改进。这促成了同质递归自我改进（RSI），即被改进的模型（被优化者）同时充当自身的优化器和评估器。核心问题是如何在这个同质循环中获得有用的自监督。

人类社会为回答这个问题提供了一个有用的类比。从觅食社群、农耕定居点、工业社会到全球信息网络，人们扩展自身能力的方式部分在于分工、融合想法并传承所学。集体成就成为进一步学习的起点。在《科学革命的结构》中，Thomas Kuhn 强调了科学家借以学会识别和解决问题的共享范例。因此，科学共同体的成就成为其成员学习开展新工作的一部分。

受这一模式启发，我们提出疑问：模型能否从自身团队的集体智能中学习，而这是单独工作的智能体可能无法可靠展现的。

我们引入多智能体自监督（MASS），将这一想法转化为一个学习循环。MASS 使用同一个模型充当执行者、优化器和评估器。优化器首先利用评估器的反馈搜索最佳团队工作流，然后根据自我评判出的最佳团队的执行结果来训练执行者。更新后的模型随后填补全部三个角色，该过程不断重复。因此，MASS 通过将团队的集体经验蒸馏进共享模型，为 RSI 提供了一种自监督信号。

同质 RSI

我们研究同质 RSI，即由一个共享语言模型充当任务求解智能体、工作流优化器和评估器：

智能体

任务求解者，或称被优化者。产出一个包含结果、图表和研究报告的工作区。

工作流优化器

利用评估器的反馈来修订智能体如何划分任务、交换结果以及相互检查彼此的工作。

评估器

比较两个工作区，选择哪一个更好地满足任务，并解释该判断。

我们使用不可验证的研究任务作为训练数据。我们用不可验证来表示不存在自动的基于规则的信号，且只有自我评估信号（其正确性未知）引导整个学习循环。

为了衡量进展，我们分别请 GPT-5.5 和 Claude Opus 4.8 评估已完成的工作。它们的判断不会提供给 MASS。这为我们提供了一个外部衡量标准，用以评估一个监督来自模型自身的过程中的改进。

MASS 如何工作

MASS 利用工作流优化来激发集体智能，然后将团队的经验蒸馏进共享模型。内循环在模型权重保持固定的情况下优化团队的工作流。模型自行评估并判断哪种工作流最优。外循环随后通过从优化后工作流的执行中学习来更新这些权重。下方的交互式图示同时跟踪这两个循环。

← 滑动查看完整图示 →

图 2. MASS。工作流搜索改变了智能体之间的协作方式。在选定的执行上进行训练，将其经验带入共享权重。更新后的模型随后重新承担全部三个角色。此动画演示了该过程。拖动进度条可浏览动画的任意部分，包括暂停时。将鼠标悬停在组件上可查看详情，或选择该组件以跳转到相应说明。文本中带下划线的术语链接到图示。

0. 设置：将工作流作为提示词

工作流是一份关于多智能体团队应如何协同工作的书面计划。编排器将工作分配给子智能体并整合它们的结果。该计划被添加到任务提示词中，使团队的组织方式可供模型检查和修订。它包含四个组成部分：

角色：分配给每个子智能体的职责，例如准备数据。
指令：该子智能体应执行的工作。
契约：它必须返回的信息和产物，包括任何必需的检查。
跳转：子智能体调用的顺序，包括任何返回先前步骤的情况。

例如，一个演化出的金融工作流将数据准备、特征构建、建模和回测安排成一个序列，随后进行一次审计。其数据契约要求对数据的时序进行明确检查：

从论文中提炼出的进化式金融工作流

Call order
  Data → Features → Modeling → Backtest
       → Audit → Reconciliation → Report

Data specialist's output contract
  validation_report:
    no_future_leakage:           bool
    train_end_before_val_start:  bool
    val_end_before_test_start:   bool

如果回测允许历史决策使用来自未来的信息，它可能看起来很有说服力。该契约要求数据专家检查这一错误，并报告时间划分是否有效。它还告知后续智能体在继续之前应收到哪些证据。因此，研究计划的一部分体现在智能体必须确立并相互传递的内容中。

1. 内循环：搜索更好的工作流

对于每个训练任务，MASS 保留一个冠军：根据当前模型的判断，迄今为止找到的最佳工作流。每次迭代包含三个步骤：

1执行。团队遵循候选工作流并生成一个工作区。
2评估。评估器将该工作区与冠军的工作区进行比较，并解释哪个更好。获胜的候选者成为新的冠军。
3修订。优化器利用反馈历史来提出下一个工作流。

评估器评判已完成的工作；优化器利用该评判来修订产生该工作的流程。优化器的系统提示强调契约和跳数，引导工作流搜索朝向智能体交换什么信息以及何时接收信息。

2. 外循环：从选定的团队中学习

即使有了优化的工作流，长周期研究工作的质量也可能因运行而异。因此，MASS 使用多个随机种子执行自评判的最优工作流（或冠军工作流，即迄今为止找到的最优工作流），并使用当前模型对生成的工作区进行排名，保留排名最高的轨迹。每条轨迹记录编排器及其子智能体的消息、工具调用和工具结果。

1对每个任务运行冠军工作流 18 次。
2使用当前模型比较并排名生成的工作区Bradley–Terry 模型将成对偏好转换为每个工作区的分数。。
3每个任务保留最多 16 条轨迹：15 条用于训练，1 条用于验证。
4在构建训练示例时，从编排器的初始提示中移除工作流文本。
5在编排器和子智能体的对话上使用 LoRA 微调共享模型。模型的输出是训练目标；任务提示和工具结果提供上下文。

从编排器的训练提示中移除工作流，鼓励模型从任务本身学习如何组织工作。

结果

我们从 Qwen3.6-27B 出发，在 qwen-code 编码智能体环境中运行了两轮完整的 MASS。我们的合成研究套件包含 12 个任务，涉及金融、机器人和制药领域，每个任务都需要代码、定量结果和研究报告。其中九个任务被指定用于训练，三个任务（每个领域一个）从后训练中留出。最终有八个任务提供了训练数据——一个训练任务被排除，因为工作流搜索未能找到优于其参考方案的工作流。任务描述由 GPT-5.5 在实验前生成。在 MASS 中，当前的 Qwen 模型提供工作流反馈和训练数据选择。三个测试任务被排除在微调、验证和检查点选择之外，不过工作流搜索也会在它们上面进行评估。

我们比较了三代模型：基础模型 \(\mathcal{L}^{(0)}\)、第一轮模型 \(\mathcal{L}^{(1)}\) 和第二轮模型 \(\mathcal{L}^{(2)}\)。我们考察它们的工作质量、组织和评判工作的能力，以及在未提供工作流的情况下对协调的运用。

更好的任务表现

在三个合成测试任务上，对基础模型的胜率从一轮后的 53.9% 上升到两轮后的 69.9%（表 1）。第二轮模型在与第一轮模型的比较中也赢得了 60.8% 的对比。

**表 1. 合成任务表现。** 外部评判在八个训练任务和三个从后训练中留出的任务上的胜率。所有模型接收的任务提示均不含优化后的工作流。
评估任务	第 1 轮 vs. 基础	第 2 轮 vs. 基础	第 2 轮 vs. 第 1 轮
训练任务	65.6%	82.5%	68.1%
测试任务	53.9%	69.9%	60.8%

为了测试在合成研究套件之外的迁移能力，我们评估了公开基准。经过两轮后，在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上，每输出 token 得分达到基础模型水平的 1.2–1.6 倍（图 3）。

Benchmark scores versus output tokens for the base model and two MASS generations. Round-two score-per-token ratios relative to the base are 1.60 for MLR-Bench, 1.35 for DSBench, 1.20 for ScienceAgentBench, 1.28 for AstaBench E2E-Hard, 0.96 for Terminal-Bench 2.0, and 0.94 for SWE-bench Verified. — **图 3. 公开基准表现。** 每个箭头将基础模型（蓝色）连接到经过两轮 MASS 后的模型（绿色）。标签报告每输出 token 得分的变化，以基础值的倍数表示。误差棒显示各次试验的标准差。转载自论文图 2；附录 C.5 给出了基准协议和试验次数。

在四个与训练任务相似的研究基准上，提升最为显著。在 Terminal-Bench 2.0 上，每输出 token 得分为基础值的 0.96 倍，在 SWE-bench Verified 上为 0.94 倍，表明迁移仍不均衡。我们推测，通过将软件工程任务引入训练数据，这种泛化问题可以很容易地得到解决。

观察 1. RSI 中的角色泛化

我们观察到 MASS 在 RSI 中实现了角色泛化。 我们仅在任务求解轨迹上训练模型，并观察到工作流优化器和工作区评估器的能力也得到提升。 这使得 RSI 循环能够持续进行。

Cumulative number of tasks with a workflow unanimously preferred to the base model without a workflow. Later MASS generations reach more tasks in fewer search iterations. — **图 4. 角色泛化。** 越晚的世代越早找到成功的工作流。每条曲线在所有三个角色中使用同一个模型世代。当一个任务的所有六项外部评判都更偏好候选输出而非基础模型在无工作流情况下的输出时，该任务被计为一次成功。曲线记录每次迭代是否已找到成功；更晚的候选仍可能表现更差。

图 4 显示，随着循环推进，优化器能够更快地找到成功的工作流。

事实上，图4在技术上并非一个非常公平的比较，因为\( L^{(0)}\)表示基座模型（优化器）更新基座模型（被优化器）的设置，而\( L^{(1)}\)表示第一轮模型（优化器）更新第一轮模型（被优化器）的设置。为了公平比较，我们将第一轮模型的工作流交给基座模型（表2）。我们观察到，带有第一轮搜索工作流的基座模型在与带有基座搜索工作流的基座模型的比较中胜出64%。每组工作流都是使用其所在代的执行器、评估器和优化器发现的。迁移测试在评估期间保持执行权重固定。它并未在搜索过程中将优化器与其他角色隔离开来。表2清楚地表明，优化器的能力有所提升。

**表2. 工作流迁移。**在突出显示的比较中，同一个基座模型执行两组工作流。外部评判者评估生成的工作区。
执行器	工作流来源	对比对象	胜率
第一轮	第一轮搜索	基座执行基座搜索工作流	80%
基座	第一轮搜索	基座执行基座搜索工作流	64%
基座	第一轮搜索	基座无工作流	63%

评估器也更接近那些强大的外部模型评判者（更多细节见论文）。与这些外部评判者的一致性在三个周期内从73%上升到93%。总体而言，这些结果表明，任务解决示例也能提升用于生成和选择下一轮训练数据的能力。

消融1：最优工作流最大化信息流

究竟是什么让最优多智能体工作流有效？

我们分析冠军工作流（迄今为止发现的最佳工作流）的角色、指令、契约和跳数。对于每个组件，我们估计其文本揭示了关于任务的多少信息。在上面的金融示例中，诸如“细心的数据科学家”这样的角色可能适用于许多任务。而指定交易回测泄漏检查的契约则更具区分度。我们使用text-embedding-3-large和all-mpnet-base-v2，采用未调整和置换调整的估计器，估计工作流组件嵌入与任务描述之间的互信息。这些统计量描述的是工作流文本，而非执行期间交换的消息。样本仅涵盖8–9个任务；工作流内的智能体并非独立的任务重复。

Changes in estimated task information from search iteration 3 to 11. Roles and instructions decrease overall, while contracts and call order increase, across two embedding models and two estimator variants. — **图5. 任务信息向契约和调用顺序转移。**曲线显示从第3次迭代以来的变化。到第11次迭代时，在两种嵌入模型和两种估计器下，估计的任务信息在角色和指令中下降，在契约和跳数中上升。中间变化不必单调，且垂直尺度不同。

图5显示，在工作流优化的第一次和最后一次迭代之间，最优多智能体工作流倾向于将任务信息更强地编码在契约和跳数中，而更少地编码在角色和指令中。我们在此未展示，但组件之间的相互依赖通常也会减少（有趣！）。这种模式表明，LLM优化器演化工作流组件使其相互独立，但通过契约和跳数优化信息流（参见这篇博客文章获取深入直观的解释）。我想说，对离散组件进行工作流优化类似于发现该工具空间的基向量。

观察 2：多智能体轨迹提供了密集的 RSI 信号

我们观察到，在 RSI 中，来自多智能体系统的轨迹可能比来自单智能体的轨迹更有效。多智能体执行也改变了训练数据的结构。编排器的对话展示了如何将一项宽泛的任务拆分为多个聚焦的子任务，并协调它们的执行。子智能体的对话展示了如何执行单个子任务。具体而言，我们观察到，从编排器学习协调、从子智能体学习有界执行，二者联合学习相比从长的单智能体轨迹中学习，能提供每个训练 token 更有效的监督（图 6）。

我们比较了从同一基础模型独立训练出的学生模型，分别使用单智能体轨迹（S、S⁺、S⁺⁺）、多智能体轨迹（M、M⁺）以及混合数据（X）。加号表示更大的训练集；M⁺ 是第一轮 MASS 模型。以下所有数据点报告的结果均汇总自四个训练任务和一个测试任务。

Win rate against the base model versus supervised tokens processed. Multi-agent student M reaches 56.0% at 3.64M tokens; M+ reaches 68.3% at 28.82M. Single-agent students S, S+, and S++ reach 44.0%, 59.0%, and 64.0% at 1.82M, 9.11M, and 42M tokens. — **图 6. 每个监督训练 token 的性能。**多智能体学生模型位于连接单智能体观测结果直线的上方。分数汇总自四个共享训练任务和一个测试任务。Token 计数包括截至所选检查点处理的监督目标，包括重复采样；不包括数据生成、搜索和评估。

与基础模型相比，M⁺ 在处理 28.8M 监督训练 token 后达到 68.3% 的胜率，而 S⁺⁺ 在处理 42M token 后达到 64.0%。因此，MASS 模型以少 31% 的监督 token 实现了对该参考模型的更高分数。第一轮数据集存储了 17.2M 监督 token。通过有放回采样并平衡编排器和子智能体样本，截至所选检查点共处理了 28.8M 监督 token。这衡量的是对训练目标的曝光量，包括重复样本。它不包括后续更新、输入 token、验证、数据生成、搜索和评估。

更高质量的轨迹可能促成了这一优势。在一项单独分析中，强外部评判者在与单智能体输出的比较中，有 85.1% 的对比更偏好多智能体系统的工作。团队运行平均生成的 token 数量也约为单智能体的 2.4 倍。在十对生成轨迹长度相似的样本中，对团队输出的偏好仍为 80%。这一比较匹配的是观测到的长度，而非生成预算。两组在工作流和验证指令上也存在差异，因此该比较并未分离出委托的效果。这些外部判断仅用于本分析，不指导 MASS。但是，当我们比较 SFT 期间使用的监督 token 时，我们发现多智能体轨迹可以比单智能体轨迹提供更密集的学习信号。

这些结果表明，在 RSI 中，来自多智能体系统的轨迹可能比来自单智能体的轨迹更有效，将其价值扩展到测试时扩展之外。

观察 3. RSI 的瓶颈可能是优化器，而非评估器

我们观察到，RSI 的瓶颈可能是优化器，而非评估器。我们保持基础模型作为任务求解器，仅将更强的外部模型（GPT-5.5）替换为评估器，或同时替换评估器和优化器。

Line plot of tasks won against the bare base model versus workflow-search iteration for several configurations. GPT-5.5 as evaluator and optimizer reaches 12 tasks by iteration 5. GPT-5.5 as evaluator only reaches 10 tasks. The all-base-model loop reaches 11 tasks by iteration 13. Variants with different search histories are also shown. — **图 7. 工作流搜索消融实验。**按搜索迭代次数统计，演化出的工作流击败裸基座模型的任务数量。执行器始终为基座模型 \(\mathcal{L}^{(0)}\)。将评估器和优化器同时升级到 GPT-5.5（橙色，虚线）后，在 5 次迭代内为全部 12 个任务找到了获胜工作流。仅升级评估器（绿色）帮助小得多。完全同质的循环（蓝色）较慢，但仍达到 12 个任务中的 11 个。

图 7 表明，仅升级评估器帮助不大，但同时也升级优化器则帮助很大。严格同质的自我改进循环最终确实为 12 个任务中的 11 个找到了获胜工作流；只是耗时更长。我们的解释是，强评估器可能提供高质量反馈，但弱优化器能力不足以消化它。这表明，在有限预算下，在 RSI 循环单元内可能必须优先考虑优化器而非评估器。

Win rate against the base model without a workflow across workflow-search iterations. The curves for all configurations fluctuate, with strong iterations followed by sharp regressions. — **图 8. 工作流搜索稳定性。**按搜索迭代次数统计，基座模型执行每个候选工作流相对于同一模型无工作流时的胜率。颜色与图 7 中的配置一致。强迭代之后可能紧随急剧的性能回退。

图 8 还表明工作流搜索是有噪声的。在文本空间优化中，达到一个好的工作流和在其上稳定改进是两个不同的问题。这表明 LLM 优化器可能需要一个相当于学习率调度器的机制，以稳定文本空间中的搜索。

结论

在丁尼生的《尤利西斯》中，奥德修斯想象了另一次航行，以追求“超越人类思想最远边界”的知识。对于 AI，我们想象一个奥德修斯时刻，此时持续学习必须在没有更强监督者的情况下进行。这一挑战既涉及谁能监督进一步的学习，也涉及应如何评判进展。人类专家或许能够陈述一个目标，却无法指定一个完全捕捉该目标的客观函数。

写作就是一个很好的例子：专家写作者能够识别出优秀的写作，却难以将其判断表达为一种能在各种情境下可靠适用的评分标准。对于 RSI，研究问题是 AI 如何将不完整的人类指导转化为有用的学习标准，以及如何检验这些标准在其能力增长时是否仍能捕捉到预期目标。当被改进的模型同时充当自身的优化器和评估器时，这一点变得尤为困难：指导改进的判断本身必须始终可被修正。

Wood engraving of a rowboat carrying several men toward a sailing vessel, with a mountainous coastline in the background. — **图 9. 丁尼生《尤利西斯》（1857）插图。**Clarkson Stanfield 绘制；W. J. Linton 雕版。George P. Landow 扫描，The Victorian Web。

保持系统的自我评估可被修正对安全也至关重要。在同质循环中，共同的盲点可能使一个有缺陷的结果被产生、被接受为改进，并被纳入下一个模型。如果人类也难以识别该缺陷，连续的更新可能会强化它。安全方面的担忧在于，同一个弱点可能同时损害系统的行为和本应用于纠正它的机制。

从这个意义上说，共享盲点可能是递归自我改进的阿喀琉斯之踵。理解它们对于控制一个能力更强的系统至关重要，因为它揭示了在哪些地方依赖系统自身判断最不合理。这些知识可以指导独立检查、对自主行动的限制以及干预条件。仅识别出一个弱点并不能确立控制；我们还必须证明，随着系统变化，我们能够检测其后果并进行有效干预。

OpenAI 关于思维链可监控性的研究说明了这一挑战的一个方面：推理轨迹有助于揭示不当行为，但它们提供的证据并不完整。近期对可能发生的智能爆炸的分析，为尽早研究这些条件提供了更多理由。这是 AI 的奥德赛时刻的一个核心安全问题：在没有更强监督者可用时，如何保持有意义的监督。⛵

来源：Hacker News：AI 热帖 · pub.sakana.ai