AI Frontiers 创始成员谈团队被并入 Microsoft AI 与离职

2023年ChatGPT发布之后，我清楚地意识到，要想取得成功，研究需要比Microsoft Research内部通常的做法更有组织性。其他研究团队投入的支持和专注程度之大，使得即便一个人提出了一个聪明的想法，也很可能来得太晚、缺乏说服力，因为一个人无法足够快地推进，而一个人所能搭建的基线也不够强，不足以真正证明一个想法值得起飞。其他几个人也有类似的想法，于是我们组织起来，在MSR内部创建了AI Frontiers这个子组织。

在AI Frontiers，我们积极尝试组织连贯的研究工作。这并不完全是“自上而下”或“自下而上”，而主要是处于混乱的中间地带。当然存在分歧，解决分歧有时相当具有挑战性。算力可用性也常常是一个严重的瓶颈。但总体而言，我大致认为该组织在开展开创性工作方面是成功的，尤其是考虑到AIF规模很小（约50人），以及与我们之前所能做的相比。AIF的许多工作是在弄清楚如何让智能体运作起来，例如Autogen编排框架和Fara计算机使用智能体。不过在纽约，我们中有几个人有兴趣开发新的基础能力，例如能够实现外推的Next Latent目标、创建优化/改进版Muon的Dion3，以及通过递归高效地让模型功能大幅增强的Full Bandwidth Transformer。

我们还积极尝试与MSR的其他部分分享。例如，AIF决定开发一个monorepo，默认与整个Microsoft Research共享。例如，这个monorepo中就有我上个月在COLM主题演讲中谈到的、经过验证且能力出色的边缘规模预训练代码库。这看起来可能是个小细节，但创建一个结构良好的模型创建流水线所需的努力是巨大的，而我知道至少有4项工作（另外3项不在MSR内部公开的代码库中）在尝试开发模型构建流水线。

9月初，我们被重组进Microsoft AI。从表面上看这说得通，因为把两个不同的AI组织放在一起会创造更好地集中力量的机会，而且AIF在一些地方领先于MAI，当然反之亦然（MAI规模大得多）。在实践中，存在重大问题，因为MAI的前Inflection领导层的理念是不兼容的。那里的核心理念是扩展，并且是激进地不做研究。这可能会让一些人感到震惊，他们自然认为做出更好模型的方式是通过研究，但有大量证据表明，就预测质量而言，更大的模型就是更好的模型，而且从商业角度看，规模回报远比研究回报更可预测。当然，在一个只重扩展的环境中，主要精力放在获取/制作/精炼数据上，这与我们当时在做的事情相去甚远。除了关注点不兼容之外，还有大量证据表明他们其实并不真正想要我们。

发现自己身处这样的境地很难受。我认为只关注规模扩展既是方向错误，也毫无乐趣。这是一种可以理解的失败模式——规模扩展简单直接，人们常常会短视地完全采纳其中一个，而放弃另一个，从而放弃在多个相互竞争的理想（如创新与规模）之间做权衡。但研究的回报是真实且显著的。例如，字节跳动的实验表明，全带宽 Transformer 的一个变体可能堪比规模为其两倍的模型，这意味着在同等能力下可显著节省训练和推理成本。算一算——考虑到该行业投资已接近一万亿美元，将训练和推理成本减半值多少钱？

所以我尽我所能安顿好了我的人，然后离开了。我很幸运，世界上还有许多其他人能够看到研究与创新的价值，而这正是我内在的兴趣所在。其他每一位创始 AIF 领导团队成员似乎都得出了类似的结论。

这确实留下了一个问题：为什么不回到 MSR？我和一些人聊了聊，但无法摆脱两个严重的障碍。第一，我就是不习惯待在一家我所做的研究没有通往实际应用路径的公司。我在 MAI 时无法让创新投入应用（甚至无法被认真考虑），因此从 MSR 获得成功的前景似乎相当渺茫。第二，我担心 MSR 的基本约定已经破裂：做好工作，好事就会发生。据我所知，我们做了好工作，却在未经同意的情况下被重组掉了。不幸的是，如果 MSR 领导层不培养出有效组织以应对时局的意思，我不会惊讶于这种事继续发生。

所以 AI Frontiers 结束了。我很遗憾地说，明年不会有与那里的人一起的实习机会了——我曾在许多场合享受与实习生共事。并向我留下的人们致以最美好的祝愿。不难想象，如果掌权者能多长一点智慧，未来的微软会再次对研究具有吸引力。