Sakana AI 成立前沿智能研究组 FIG，探索 Transformer 之外的新范式

人工智能的现状与未来

当前的人工智能系统非同凡响。它们几乎可以就任何话题进行专业写作和对话，创作音乐，生成视频，编写完整的应用程序，甚至已经开始为长期存在的数学问题提供洞见。鉴于这一发展轨迹，我们有理由发问：当前的范式（用更多数据和更多算力来扩展 Transformer 架构）是否就是带我们一路走向 AGI 的“所需全部”¹。这正是我们的 CTO、Transformer 发明者之一 Llion Jones 在最近的 Transformer vs Post-Transformer 辩论中提出的疑问。剧透：我们认为还有更多事情要做。

现代人工智能系统中最流行的组件，例如最流行的架构、优化器、训练目标等等，运行得如此之好，以至于我们可以通过不断微调它们来维持进步。然而，当前系统仍然存在我们尚未能够解决的根本性问题：它们会自信地幻觉出虚假信息，在面对真正新颖的情况时表现糟糕，并且运行需要消耗大量能源。许多研究者受到激励，试图在当前范式内解决这些问题，但也许我们应该寻找其他范式。

大自然向我们展示了替代方案的存在。与当前人工智能相比，生物智能持续学习，泛化稳健所需的数据要少得多，甚至可以通过自我导向、开放式的求知欲进行探索。而且，尽管我们当前的人工智能系统建立在“人工神经元”之上，但人工神经网络的结构和更新方式与我们目前对大脑的理解相去甚远。虽然我们并不认为需要在硅基上复制真实的大脑，但这些差距可能正在告诉我们一些关于通用智能的重要信息。

鉴于当前人工智能与生物智能之间的所有这些差异，我们认为如果不再有重大突破，那才会令人惊讶。不太明显的是如何去寻找突破。随着当前系统的改进，一个自然的选择是依赖递归自我改进，让人工智能自我引导。但它也可能来自其他地方——而培育一个能让它涌现的研究环境至关重要。正如 Llion 在其 2025 年的 TED 演讲中所说，当前范式的强大扼杀了那种曾促使其诞生的研究自由。我们需要刻意创造并保护适合这类长期推测性研究的环境，而这正是我们在 Sakana AI 试图做的事情。在日本这里，人工神经网络的许多基础性进展曾在此诞生，其他研究者也仍在探索通往智能的替代路径，我们明确地着手寻找下一个大事物。

前沿智能小组

今天我们宣布 FIG 的存在，这是一个在公司内部不断成长的集体。我们定期举行会议，讨论挑战主流的思想，邀请来自不同背景的外部研究者提出关于智能的替代观点，并营造一种让人们拥有时间和自由去研究长期、推测性想法的环境。

FIG 的出发点是，智能尚未被“解决”，我们应当积极探索替代范式。而且，即使当前范式能够通过规模扩展实现 AGI，我们仍然希望系统能够以人脑的数据和/或能效进行学习。这意味着要诚实地审视当今技术的不足，并将其视为应当正面攻克的研究方向，而不是或许可以在日后通过工程手段消除的细节。

FIG 的理念

要抵达下一个重大突破，我们必须放手一搏。而鉴于当前范式的强大，一次跳跃之后我们最终所处的位置可能看起来更糟。人工神经网络自 20 世纪 70 年代就已存在，但直到 2010 年代中期，其性能才开始在广泛领域超越其他替代方案。这需要的是有信念的研究者，逆主流观点而行，坚持自己相信的道路。

在 FIG，我们认识到通往下一个突破的道路可能并不平坦，但我们秉持若干核心原则来指引前行。

研究自由：探索不同想法的自由，最重要的是，失败的自由。为了促成伟大的研究，研究者应当被给予时间和自由去公开探索想法，而不必承受推高基准数字的压力。FIG 是一个追求雄心勃勃方向的空间，即使我们不确定它们将如何发展。

独特性：“你只应从事那些如果你不做就不会发生的研究”²。我们鼓励研究者从事他们个人认为有趣且重要的工作，即使它与当前趋势相悖。在一个趋势驱动的行业中，研究者常常担心其他团队会先于自己发表他们正在做的相同想法。独特性可以防止这种情况。

“伟大无法被计划”：这是 Sakana AI 的核心哲学。³科学和技术中许多最伟大的发现都不是计划出来的。例如，液晶是由一位研究胡萝卜中胆固醇衍生物的植物学家发现的！因此，要找到突破，就应当营造一个鼓励探索想法而非强加僵化计划的环境。

受自然启发：正如我们的名称和标志所示，Sakana AI 常常从自然中寻找洞见。虽然我们最为人所知的是集体智能方面的研究——主要使用进化算法——但我们也有具备计算神经科学和认知心理学等学科背景的研究者，可以从其他角度研究智能。不过，这并不意味着我们所做的一切都受自然启发——过度规定性违背了我们的核心原则！

理解智能：我们是前沿智能小组，因为我们也旨在直接研究和理解智能。提升基准性能并不一定能告诉我们智能如何运作——作为研究者，我们相信这种知识本身具有内在价值。

虽然这些价值观适用于整个 Sakana AI，但在 FIG，我们试图将这些价值观发挥到极致。

研究

我们希望展示 FIG 所赋能的自由与创造力的一些成果。这里我们重点介绍来自 FIG 集体部分成员的一些研究，其中来自自然的灵感清晰可见：

连续思维机器：当前的人工神经元抽象掉了生物神经元的大部分丰富性。CTM 以分离的突触和“神经元级模型”的形式重新引入了其中一些结构，这些模型对其输入执行迭代计算。它还通过神经元集合之间的同步来表示信息，从而产生比标准循环神经网络更多样、更动态的数据表示。
增广拉格朗日预测编码：当前人工神经网络的训练方法——反向传播——在生物学上是不可能的。如果我们能弄清楚大脑如何通过纯局部更新来分配信用，我们就有可能通过分布式处理器解锁 AI 的新一层扩展。神经科学家长期以来一直提出一种称为预测编码的方法，但迄今为止它在优化非常深的神经网络方面一直举步维艰。在我们先前关于多智能体协调的分布式优化工作的基础上，我们提出了一种新颖的预测编码变体，可以成功优化多达 1,000 层的神经网络。这项研究不仅可能催生新颖的 AI 模型，还可能反过来增进我们对大脑工作原理的理解。
更稀疏、更快、更轻的 Transformer 模型：稀疏性是人脑中的一个常见主题，它通过仅激活思考所需的特定神经元来实现更节能的计算。然而，当前硬件原生设计用于密集计算，而非稀疏计算。我们与 NVIDIA 合作，开发了一种新的稀疏格式和 CUDA 内核，释放了稀疏神经网络在 GPU 上的性能，并在十亿参数规模的 LLM 上展示了速度、内存和能耗方面的改进。
AI Picbreeder 实验：生物进化是一个开放式的过程，在这个星球上产生了数量惊人的多样生命形式。AI 系统是否也能执行这种开放式搜索？通过重现著名的 Picbreeder 网站，并将前沿 VLM 的发现与人类的发现进行比较，我们可以了解它们有多大的创造力。虽然我们能够找到提高其输出质量和多样性的干预措施，但我们发现当前的 AI 系统难以进行创造性的迂回探索。
智能细胞砖：细胞群拥有非凡的自组织能力。通过局部通信，它们可以评估自己是否正确形成了目标物体（例如器官），甚至可以在受伤后重塑身体。受此启发，我们开发了物理具身的智能“细胞”砖，它们能够理解自己属于什么物体（例如椅子或桌子），甚至能够检测并重新组织以从损伤中修复。

在FIG，我们多元化的研究组合由研究人员不同的兴趣和信念自然维持。有些人专注于新颖的架构，有些人专注于新颖的优化器，有些人专注于新颖的目标函数。研究的粒度从单个神经元的动力学到智能体集体不等。为了推动智能的前沿，我们需要在所有这些维度上进行探索。

展望未来

在Sakana AI成立之初，两位研究人员之间随意的每周闲聊，如今已发展成为一个活跃的团队，认真寻找下一次范式转变。我们的价值观（研究自由、独特性、探索、理解，以及从自然中获得的灵感）已经因此产生了一系列有趣的发现。我们希望这些价值观也能传播开来，激励其他研究人员勇敢地前往无人涉足之地。

在FIG，我们的问题多于答案。人类如何从如此少的例子中进行系统性的泛化？神经网络如何仅凭局部学习规则学会在长时间尺度上传播信用？是否有可能在没有去相关数据批次的情况下训练AI系统？

如果你觉得这些问题有趣，请申请加入Sakana AI！我们尤其鼓励跨学科研究人员，例如处于神经科学与机器学习交叉领域的研究人员，帮助我们回答这些问题，并找到AI的下一个突破。

日语

探索下一个范式：Sakana AI的Frontier Intelligence Group (FIG) 介绍

阅读英文版

人工智能的现在与未来

当前的AI已经达到了惊人的水平。它几乎能就任何话题像专家一样撰写文章、对话、创作音乐、生成视频、编写完整的应用程序，甚至开始在处理多年未解的数学问题上展现威力。看到这一趋势，人们自然会问：如果给当前范式“Transformer架构”更多的数据和更多的计算资源进行扩展，是否就能直接达到AGI，这是否就是“all you need”⁴？这正是我们的CTO、Transformer发明者之一Llion Jones在最近的Transformer vs Post-Transformer讨论中提出的问题。先说结论，我们的想法是“还有事情要做”。

当前AI系统中广泛使用的主流架构、优化方法和学习目标函数等运行得非常好，仅仅持续改进它们也能维持进步。但当前的AI仍有未解决的问题：自信地生成错误信息、在真正未知的情况下性能大幅下降、需要庞大的能量。许多研究者试图在当前范式框架内解决这些问题，但也许我们需要寻找另一种范式。

从自然界可以看出，智能可能有其他方式。与当前AI形成对比的是，生物智能可以持续学习，用少得多的数据就能很好地泛化，还能以自发、开放的好奇心进行探索。此外，尽管当前AI系统以“人工神经元”为基础，但人工神经网络的结构和更新机制与我们目前理解的大脑相去甚远。我们并不认为需要在计算机上原样再现真实的大脑，但这些差异必定揭示了关于通用智能的某些重要信息。

既然当前AI与生物智能之间存在如此大的差异，认为不会再有重大突破反而更不自然。问题在于如何寻找它。随着当前系统的进步，一个自然的选择是递归式自我改进，即让AI自身改进自己。另一方面，突破也可能来自完全不同的地方。因此，一个能让它萌芽的研究环境至关重要。正如Llion在2025年的TED演讲中所讨论的，当前范式因其强大，正在剥夺那种孕育了该范式本身的研究自由。为了保护长期且难以预测的研究，我们必须有意识地创造这种环境。Sakana AI正是在为此努力。日本是许多人工神经网络基础成果诞生的土地，如今仍有研究者在探索新的通往智能的途径。在这个日本，我们旨在发现下一个重大事物。

Frontier Intelligence Group (FIG)

这里介绍这段时间在公司内部成长起来的Frontier Intelligence Group（FIG）。我们定期召开会议，讨论不同于主流的想法，邀请不同背景的外部研究者展示关于智能的替代视角，通过这些方式，我们为致力于长期且雄心勃勃的想法创造了环境。

FIG的出发点是：智能尚未“解决”，应积极寻找另一种范式。而且，即使当前范式能够通过扩展达到AGI，我们也希望另外实现一种能以与人类大脑相同的数据效率和能量效率进行学习的系统。这意味着不回避当今技术的缺陷，不将其视为“以后工程上总能解决的细节”，而是作为研究正面应对。

FIG的哲学

要抵达下一个重大突破，必须以某种信念纵身一跃。由于当前范式过于强大，跳跃之后的落点有时看起来甚至不如现在。人工神经网络自1970年代就已存在，但其性能在广泛领域开始超越其他方法，则是2010年代中期的事。使之成为可能的，是那些即便逆周围大多数人之意、也坚持走自己坚信之路的研究者们。

FIG在承认通往下一次突破的道路绝非平坦的同时，也提出了若干作为路标的基本原则。

研究自由：探索各种想法的自由，尤其是失败的自由。要孕育优秀的研究，就需要让研究者摆脱提升基准数值的压力，拥有自由追寻想法的余裕与时间。FIG致力于成为一个即便不确定能否成功、也能追寻雄心勃勃方向的地方。
独特性：即“只应做那些若非自己便不会诞生的研究”这一原则。⁵我们鼓励研究者去做自己认为有趣且重要的事，即便它与当下的潮流相悖。在由潮流驱动的行业中，研究者往往担心自己正在研究的想法会被其他团队抢先发表。独特性可以防止这种情况。
“Greatness Cannot Be Planned”：Sakana AI的核心哲学。⁶科学技术中许多最伟大的发现都不是被计划出来的。例如液晶，是由一位研究胡萝卜中所含胆固醇衍生物的植物学家发现的。这一理念认为，突破与其说是通过强加严格的计划，不如说是通过培育一个鼓励探索想法的环境而产生的。
向自然学习：正如本公司名称与标志所示，Sakana AI常常从自然界中寻找线索。我们主要以使用进化算法的集体智能研究而闻名，但也有成员拥有计算神经科学、认知心理学等背景，能够从不同角度研究智能。不过，并非我们的一切都受自然启发，我们也无意因此而局限自己的方法。
理解智能：我们自称Frontier“Intelligence”Group，是因为我们也以研究和理解智能本身为目标。提升基准上的性能，并不必然通向对智能的理解。我们认为理解本身就有价值。

这些价值观适用于整个Sakana AI，但在FIG中，我们尤为强烈地追求它们。

研究事例

下面介绍一些FIG的这种文化迄今如何结出成果的例子。

Continuous Thought Machines (CTM)：当前AI所使用的人工神经元模型，自1980年代以来几乎没有变化。神经元只输出“此刻以多大程度激活”这一个值，而生物神经元所拥有的“何时、以何种时机与其他神经元一同激活”这一信息则被丢弃了。CTM正是试图将这种“时间”重新带回神经元层面的尝试。每个神经元参照自身过去的活动历史进行迭代计算，并进一步将神经元之间激活的同步本身用作信息的表达。其结果是，出现了远比普通递归神经网络更为多样且动态的行为，例如在解迷宫时，可以可视化出模型像用眼睛追踪路径一样在“思考”的样子。
Augmented Lagrangian Predictive Coding (PC-ALM)：支撑当前神经网络学习的误差反向传播（backpropagation）被认为无法在大脑中实现。因为它需要等待前向传播结束、再等待反向传播结束之后才更新权重，这要求整个网络进行严格的同步。大脑仅凭局部信息如何进行credit assignment（即分配哪个神经元对错误负责），是神经科学中的未解问题之一。神经科学家们长期以来提出了预测编码（predictive coding）这一框架，即仅凭相邻层之间的预测误差来推进学习，但当层数变深时，误差信号会在中途衰减，因此一直难以用于深层网络的学习。我们以此前关于多智能体协作的分布式优化的研究为基础，设计了一种新变体，在各层加入一种作为反馈控制器发挥作用的“对偶神经元”，并证明最多1,000层的神经网络仅凭与相邻层的交互，就能以几乎媲美误差反向传播的精度进行学习。这项研究不仅有望通向在分布式处理器或神经形态硬件上训练AI的新方法，也可能反过来加深我们对大脑工作机制的理解。
Sparser, Faster, Lighter Transformer Language Models：大脑之所以节能，是因为它只激活一次思考所需的神经元，也就是以稀疏方式运作。实际上，当前的LLM也具有类似性质：前馈层中95%以上的神经元在处理某个单词时是沉默的。然而，GPU是为稠密且规则的行列计算而设计的，因此若想直接利用这一性质，就会出现计算量虽减少、速度反而变慢的悖论。我们与NVIDIA的联合研究中，开发了一种新的数据格式“TwELL”及专用CUDA内核，它不是让GPU去适应稀疏性，而是调整稀疏性的形态以适配GPU。我们在10亿参数规模的LLM上证明，速度、内存和能耗均可得到改善（ICML 2026录用）。
The AI Picbreeder Experiment：生物的进化是一个开放式的过程，在地球上孕育出了令人难以置信的多样生命。AI系统是否也能进行这样的开放式探索呢？我们复现了那个著名的Picbreeder网站——在没有给定目标的情况下，由许多人选出自己觉得“有趣”的图像并使其进化，于是脸、动物、头骨等意想不到的形态自然涌现——并将其中的“用户”替换为最先进的VLM智能体，与人类的发现进行了比较。智能体倾向于反复回到相似的图像，引入具有多样人格的智能体群体后探索大为改善，但即便如此，在察觉偶然发现之物的价值、并由此实现重大概念飞跃这一点上，仍不及人类。当前的AI系统似乎不擅长进行富有创意的绕道。
Smart Cellular Bricks：细胞群体拥有惊人的自组织能力。仅凭局部交互，就能判断器官等目标结构是否正确形成，甚至能在受损后重建身体。受此启发，我们开发了一个由近200个物理模块组成的系统。每个模块运行着相同的小型神经网络，只与物理上相连的相邻模块通信。尽管既不知道自己的位置，也不知道整体是什么形状，群体却能正确认识到“我们是椅子的一部分”“是桌子的一部分”，检测出哪里缺失，并通过在缺失方向添加新模块来实现自我修复。这是将我们此前在软件中研究的集体智能带到物理世界的第一步（发表于Nature Communications）。

FIG的研究组合是由每位研究者的兴趣与信念自发形成的。有人致力于新架构，有人致力于新的优化方法，有人致力于新的目标函数。所涉及的尺度也各不相同，从单个神经元的行为到智能体群体。要拓展智能的前沿，就必须在所有这些维度上进行探索。

FIG的未来

Sakana AI创立之初，这只是两位研究者每周随意的闲聊，如今已成长为一个认真追求下一次范式转变、充满活力的团队。研究自由、独特性、探索、理解，以及从自然中汲取灵感——我们的这些价值观已经催生了许多有趣的发现。我们希望这些价值观能够传播开来，成为其他研究者大胆踏入无人之境的契机。

在FIG，问题比答案更多。人类为何能从如此少的样本中实现如此广泛的泛化？如何构建仅凭局部学习规则就能在长时间尺度上学习的神经网络？是否可能在不使用去相关数据批次的情况下训练AI系统？诸如此类。

我们期待对这些问题的研究者加入。尤其欢迎处于神经科学与机器学习交叉领域、跨越多个学科的研究者，作为共同回答这些问题、寻找AI下一次突破的伙伴加入我们。

Footnotes

“Attention Is All You Need” 是提出Transformer架构的研究论文的标题。 ↩
Brian Cheung，2025年对话。 ↩
“Why Greatness Cannot be Planned” 揭示了历史上许多突破是如何通过偶然机遇而非直接追求最终成果而出现的。 ↩
“Attention Is All You Need”是提出Transformer架构的论文标题。 ↩
Brian Cheung，2025年对话。 ↩
“Why Greatness Cannot be Planned”揭示了历史上许多突破并非源于直接以最终成果为目标的探索，而是诞生于偶然的机缘。 ↩