与 Epoch AI 的 JS Denain 辩论 RSI、中美差距与能力参差

本期节目嘉宾是 Epoch AI 的 Jean-Stanislas “JS” Denain，他领导该机构的洞察团队，也是我越来越常与之辩论 AI 现状与走向的人之一。我们曾在线上和/或私下就我近期最喜欢的许多文章进行过后续讨论，所以我想在公开节目中深入探讨其中的细微之处。

这期播客的一大收获是，JS 和我对于前路究竟如何都充满不确定性，而这是我们今天尽力陈述观察结果的最佳尝试。

章节/主题包括：

00:00 RSI 的预测
18:15 机器人技术在 AI 加速中的作用
24:20 中国模型落后多少？
27:39 蒸馏能解释这一差距吗？
40:58 中国招聘信息揭示了其实验室的哪些情况
48:13 开放模型和封闭模型哪个更安全？
58:10 Epoch AI 如何运作
1:00:55 前沿后训练配方长什么样

请欣赏！

更多来自 JS 的内容：Epoch AI 个人资料与文章、X、LinkedIn

在 Apple Podcasts、Spotify 以及任何你收听播客的地方收听。其他 Interconnects 访谈，请见这里。

文字记录

00:00:00 Nathan Lambert：我在这里与 JS Denain 对话，他是 Epoch AI 的高级研究员。他领导洞察团队。他是我觉得能从其那里获得关于我写作的最佳反馈的人之一，无论是关于美中 AI 能力，还是现在的 RSI。我只是想开启这场讨论，并诚实地与他深入交流，试图理解他如何看待这些不同的事情。而且我认为你有一个非常有用、温和的观点，我觉得你可能更倾向于所谓 AI 进展更快的场景。但让我们进入正题，当我们看到所有这些关于 RSI 即将发生的宣告时，你认为 OpenAI 和 Anthropic 看到了哪些测量数据？

00:00:47 JS Denain：是的。我觉得，他们公布了一些测量数据，对吧？所以，OpenAI和Anthropic都发过博客文章，我是说，至少 Anthropic 发过两篇，讲的是 AI 对加速 AI 进展的影响。我觉得至少他们公布的那些东西，我不认为能非常有力地证明 AI 能力即将出现自我维持的加速，或者 AI 研究员这份工作会被完全自动化。但我觉得我们看到的那类现象，OpenAI 博客文章里最让我印象深刻的，是 AI 系统在模型部署中的使用量在增加，比如我们看到的 Codex 支出增长。这到底该怎么解读有点不清楚，因为也许这是个测量假象，他们只看 Codex，但实际上研究人员之前用了不少 ChatGPT。不过总的来说，比如那张图，只显示了研究人员在 Codex 上的支出每月增长 2 倍，这在我看来确实算是一些证据，说明他们很可能从中获得了很大价值。我不认为这能有力证明我们会在六个月内迎来一场软件智能爆炸。

00:01:57 Nathan Lambert：你觉得这是一回事吗？那么，他们内部掌握的信息相对于我们掌握的信息是什么？这显然是假设性的。我们并没有这些内部信息。因为我感觉，很多人在实验室的更新里比我们掌握的信息更害怕。我试着非常认真地对待这件事：他们看到了什么，让关于风险加速的评论变得更快，这其中有多少是实质性证据，又有多少是文化随时间演变的结果？我对证据要感兴趣得多。

00:02:29 JS Denain：是的。所以有两件事。我认为，首先，我想我并不认为，我不知道，对吧？我在这里没有完整的信息。我目前并不认为 OpenAI 或 Anthropic 的人现在看到了什么我们没有接触到的具体东西，足以让我们对此更加恐慌。我也不认为……我认为我们目前拥有的公开证据，关于 AI 进展的更普遍情况，以及这件事作为一个重要动态的先验理由，我认为已经足够了。我认为要关心 AI 加速 AI 进展这一特定动态，这很重要，并且值得追踪。然后，反馈循环真正开始起作用时的紧迫性有点不清楚。所以，基本上关于内部有什么是人们能接触到的，我可以举例说明他们可能关注的各类指标，对吧。我们有可能接触到 AI 系统的能力，但内部团队有他们的 KPI，也许他们在预训练团队中看到了算力倍增，或者其他人们追踪的指标正在疯狂增长。然后，这些加上对不同团队不同产出如何结合的一些直觉，就产生了对最终 AI 系统实际性能趋势的预测。所以那可能是一个早期预警信号。我不清楚我们最近看到的讨论是否是那些指标正在疯狂增长的证据。

00:04:09 Nathan Lambert：那么你如何看待 RSI 与存在性风险之间的联系？所以我假设你同意。我认为 AI 存在非常真实的风险，我很好奇你如何看待这些，我会形容为非常非常早期的测量，如何改变风险范围上的任何东西。因为我不认为如果你在六个月前问人们，在非常理性的人当中，存在性风险会如此迫在眉睫。我认为现在有更多理性的人在再次谈论存在性风险，这让我有点惊讶。

00:04:43 JS Denain：是的。那么，好吧，我的感觉是类似……所以，就我个人而言，我对此感到非常不确定，但我确实觉得，是的，基本上我认同，我知道 Evan Hubinger 说过，至少 10% 的 x-risk，在我不确定是什么的时间范围内。我想我大概是，是的，我知道，而且这在十年左右的时间范围内似乎相当合理。我只是对此感到极度不确定，但我肯定非常担心这件事。那么，我为什么担心这件事，我认为分歧来自哪里？然后我如何把它与早期的 RSI 感觉联系起来？我的感觉是，我有点是个能力万有理论的人。我认为，而且我认为有些人在这一点上不同意，但我真的认为，所有人之间分歧的主要成分是，AI 系统的能力会变得多大、多快？我有点同意，还有其他因素会影响你的经济增长有多大，也取决于你获得的扩散。你可能可以认为能力会变得疯狂，但 AI 系统会是对齐的、良性的之类的，所以没有巨大风险。但我的感觉是，具体来说，当我观察人们之间的主要分歧类型时，我看到的那些对最极端情景非常怀疑的大多数人……我认为他们只是预期能力不会那么大，或者不像我认为的那些人——

00:06:18 Nathan Lambert：几年后，做一个能力最大化主义者会是什么样子？因为我想我可能站在怀疑的一边，所以请继续。

00:06:28 JS Denain：我认为它看起来，例如，有点像 AI 2027 情景，对吧？我认为它看起来像是，其机制是 AI 正在自动化 AI 研究过程，我想，这是关注它的一个理由。但就对现实世界的影响而言，我认为它像是机器人技术上的巨大进步。我认为是一场巨大的工业爆炸，AI 系统只是在管理工厂。你有这种自我维持的经济，能够以比你预期快得多的速度取得大量科学进步。所以我认为具体来说，我预期的那种分歧在于，是的，如果你有既在书本知识意义上非常聪明，又被训练得拥有更多可供性并精明地使用它们，被训练得以高效方式管理项目之类的 AI 系统。在取得非常快速的研发进展或获得对人类硬权力方面，现实世界的瓶颈有多大？

00:07:26 Nathan Lambert：是的。我们能详细谈谈其中一些吗？你听了 Dwarkesh 与 Charlie、Beren 和 John 的播客吗？

00:07:32 JS Denain：是的。对。

00:07:33 Nathan Lambert：是的，因为他们在最后有一个部分，讲到了各种能力水平以及实现它们的时间线。我觉得我同意大部分……我非常同意他们到目前为止给出的分布，然后对时间线感到惊讶。其中一个是AI研究人员的10倍生产力。我认为Beren和John比我想的更快。我的大致说法是，我认为从产生想法、做实验来测试它这个循环，我同意很快就会快10倍。但我不一定同意我会说AI研究人员净生产力会提高10倍，我会把这描述为整个领域完全理解的速度。而理解是一个与仅仅继续扩展模型不同的维度。我认为这是我在AI研究方面的核心困惑之一。所以我很好奇你怎么看待这类事情，以及你可能会如何把AI研究的10倍改进细分为子类别。

00:08:37 JS Denain：是的。所以也许这里可以有一个尺度，也就是你可能关心的最终结果是AI研究整体快了多少？或者Anthropic的整体产出快了多少？然后Anthropic作为一家公司正在生产一些东西，它在一年内完成了原本需要10年才能完成的事情。这与个体研究人员的生产力相当不同，我认为你可以……所以如果AI研究人员现在所做的大部分事情就是你描述的这个循环，那么基于他们现在所做的任务，中位数研究人员有可能获得10倍的生产力提升。但首先，这并不意味着所有研究人员都能获得10倍的生产力提升。而且即使你做到了，对吧，还有其他瓶颈会起作用，使得这不必转化为Anthropic整体的10倍生产力提升，对吧？你可以让所有研究人员的生产力都提高10倍，但由于算力或其他因素，公司本身仍然不会发展得那么快。

00:09:38 Nathan Lambert：我觉得我有一个类比，我认为初级博士生会获得10倍的生产力，但从导师的角度来看，他们的研究议程不会以10倍的速度推进。而它在多大程度上促进了Anthropic的进展，是另一个很难跳到AI能力上的事情，我认为在听Noam播客时。这是我，我只是在想，在写这个的时候就在想，有如此多的推理算力正在上线，我认为Dwarkesh很好地强调了这一点，我很难把AI研究的巨大加速与这样一个事实区分开来：我们拥有多得多的算力，并且现在可以更有效地把它花在相关问题上。我认为我们会同时得到这一切。

00:10:27 JS Denain：是的。所以我认为这个问题……当你查看 OpenAI 关于其加速的博客文章时，他们确实指出了研究人员在 Codex 上的支出大幅激增。有趣的是，实际上公司其他部门的 Codex 支出在春季大幅激增，然后在夏季趋于平稳。但对于研究人员、数据团队或工程师来说，它持续增长，有时甚至加速。所以他们指出了这一点，然后试图找出哪些地方有所增加，哪些类型的任务使用量增加了。其中很多是工程任务。故障排查任务也有所增加。但他们确实指出，对于许多高层战略决策，无论是从轶事角度还是查看会话记录，他们似乎都没有发现，在做出更好的算力分配决策或决定研究方向方面有巨大的提升。所以对我来说，这与 PI 的情况非常相似。因此我认为有第一个问题，即，有多大程度的改进……想象一下，你在 AI 研究的那个组成部分上并没有获得那么多 AI 提升，但 AI 研究的其他部分真的飞速发展。那么事情会快多少？另一个独立的问题是，我不知道，这种战略决策有多难？你不能只是进行更长视野的强化学习吗？或者也许你可以押注于从其他领域获得不错的迁移，在这些领域中这类决策很重要，然后你最终确实能获得那种提升。

00:11:59 Nathan Lambert：我认为我的部分直觉是，科学将看起来如此根本不同，以至于几乎很难用数字来衡量。这是前 AI 时代和后 AI 时代，我们正处于向一种新方法、新科学方式的快速过渡中，因为我认为所有会议都准备好在未来几年内被烧毁并艰难挣扎。我希望他们能集体找到一种方法，将 AI 监督纳入评审和可扩展的流程中，因为他们有太多垃圾论文，需要这种类型的把关。所以我真的不知道。在能力方面，我认为 AI 的进步显然转化为新的能力。有两件事。一是预训练缩放定律。我们的损失与算力的指数增长成正比。在研究方面，我们所做的是移动这条线，使其有更好的截距，并可能具有更好的斜率。另一方面是强化学习环境，我认为我们现在构建的强化学习环境与有价值的工作非常可比。所以我预计 AI 模型在可以界定范围的知识工作方面会变得好得多。但我不知道我们是否有好的流程来批量产出难度高一个数量级的环境，那将更接近于治愈癌症、解决这些开放数学问题。我认为数学是一个我们可以讨论的案例。但这有点像，我认为在扩展原始智能方面存在未知数，比效率方面更多。所以我对扩展效率非常乐观。

00:13:29 JS Denain：是的。我同意，从某种意义上说，推理效率就像是一个爬山任务。它的范围相当明确。而且，我的意思是，它已经是趋势非常非常快的东西了，但我可以想象这些趋势。是的，我想象这些趋势会变得更快。这看起来真的像是那种……我的意思是，确实，我们有来自 OpenAI 的证据，对吧？比如通过构建更好的内核来节省服务成本等等，如果你对此不熟悉的话。他们没有给出那么多细节，但这已经在发生了。实际上，在你的情况下，我好奇的一件事是，比如，这里有一种定义 Anthropic 的方式，例如，整体加速，就是你可以看 ECI 趋势，比如，Anthropic 最佳质量点在某个时间点的 ECI。你可以看当前趋势线，然后你可以问这个问题，比如在未来一年，我们会看到 5 倍的加速吗？比如，斜率会比，比如说，2025 年大 5 倍吗？我认为我们很可能会看到这方面的大幅增长，因为它是一种清晰的 KPI，我的意思是，它不完全是 KPI，但它是公司所追求的一个 KPI，当然要排除安全考虑等等。我很好奇你是否认为我们极不可能实现这一点，还是说更可能是我们可能会实现这一点，但如果我们真的实现了，那主要是因为 ECI 作为一个指标已经被 Goodhart 化了，而对现实世界能力的影响并没有那么大。

00:15:03 Nathan Lambert：如果我们真做到了这一点，我不会感到惊讶，但我认为情况会是这样的：我们正处在一个斜坡上，然后我们可能会在爬山过程中迎来坡度的上升，但随后我们就会把我们所知道如何爬的山给爬饱和了，然后它就会变得更低。所以，就像我们能够衡量的所有东西，我认为都会因为可衡量而被非常迅速地拉高。然后我们就进入了这样的领域：我们该如何衡量它？因为我觉得，就像我和那些正在尝试的人交谈……比如现在构建评估（evals）的成本太高了，而我也确实认为评估将会是：它在编码方面有多好、多高效，它在机器学习研究方面有多好、多高效，它在知识工作方面有多好、多高效。但我不知道该如何……构建这些评估看起来都是可行的，但很难。但接下来，比如如何在基础化学领域取得突破，似乎真的、真的、真的很难衡量。我本来想拿前沿数学来举例，但我认为数学是一个例外，是人工智能中最参差不齐的部分之一。我觉得尤其是数学中的开放问题，是快速改进的人工智能的完美目标，因为它是一个可证伪的东西。而如果我们比如说在某个更加开放的问题上看到这一点，我想我会大幅更新我的看法。或者如果实验室们站出来说：“使用 Claude，我们的人工智能架构发生了非常、非常巨大的变化”，就像那个著名的 Jonathan Frankle–Sasha Rush 打赌，然后 transformer 不再是我们所处的谱系了。我认为这些事情中任何一件如果是高度由人工智能驱动的，都会让我大幅更新看法。但看到更多的数学进展，比如我觉得数学的速度让我惊讶，但并没有让我震惊。

00:16:49 JS Denain：这对我来说很有意思。我绝对同意这个总体感觉。所以就像我认为 METR 的人研究比如你的 nanoGPT 结果，来自 autoresearch 风格的东西，与人类所做的相比，看起来确实存在这种情况，我认为 Tom Cunningham 称之为摘苹果模型，即人工智能在开始时效率高得多，但随后实际上并没有发掘出那么多新想法。你可以在这种优化器研究中看到这一点。是的，我的意思是，关于这个可验证性的点，我想说的一件事是，我认为一个相当常见的趋势是，你会有一个不太可验证的任务，你可能会觉得很难为它构建一个环境。但实际上，它是某个本身可验证的更大任务的子集。只是范围更长。一个例子是，公司里有很多难以验证的任务。但在某种意义上，比如收入或其他指标，比如估值，是相当清晰可读的。所以这是一点。我的意思是，另一点是，要预期事情会相当参差不齐。但我认为一个大问题是，是的，你能不能，在一个疯狂的世界里，你能不能获得一种大规模的、自我维持的工业式爆炸？

00:18:05 Nathan Lambert： 是的。那么，我们能聊聊机器人和工业吗？因为我有实体机器人的背景，我觉得机器人趋势看起来会更接近自动驾驶汽车，而不是 LLM。而且我认为很多奇点论点都建立在机器人能看起来更接近 LLM 而非自动驾驶汽车推广的基础上。那么，你为什么会不同意？或者，有什么论据能说明大规模工业化和机器人扩张是可行的？因为我的先验如此怀疑，以至于我可能甚至没有给它足够的公正对待，但我非常怀疑这能否实现，而且主要是在相对时间线方面。我认为它可能会在几十年内发生，但我不认为这是一个两到五年的担忧。

00:19:01 JS Denain： 说清楚一点，两到五年似乎很难。我觉得我只是对这里的机器人技术了解不够多。我认为你的主要担忧只是可靠性真的很难搞对，就像它只是一个长尾场景，事情是那样，还是更像现实世界的事情，会有更多的监管出现？

00:19:21 Nathan Lambert： 我认为制造东西很难。我认为，让我想想。我来带我们过一遍其中一些。例如，我知道像亚马逊这样的地方，他们建造新工厂时以机器人为先，那些对他们来说更有效。那么这需要的就是建造一个机器人工厂。在美国的情况下，就像你必须在美国建造一个能非常高效地制造机器人的机器人工厂，然后过渡它，或者用所述机器人建造一个新的。而我认为美国的再工业化是那种，有很多原因导致它没有发生。我认为在中国可能更有可能，但我也只是没有被视觉和动作模型上的 AI 结果说服，它们进展得足够快。我认为我和多模态领域的人讨论过，他们把技术描述为比文本语言模型更加初级和欠发达，需要更多根本性的创新，而像代码加 RL 这样的东西是非常自然的匹配，爬山是非常可预测的。所以——

00:20:35 JS Denain：所以，似乎有两件事。一是机器人能力的趋势不像你预期的那样对 LLM 那么快，二是即使机器人能力很强，建工厂也需要时间。我对第二点有点怀疑。我只是觉得，如果机器人能力足够，这个市场的总可寻址市场是巨大的。如果你看看美国的数据中心，建设速度极快。如果你有机器人能够真正替代蓝领人类工人，我觉得经济激励会非常巨大。我认为美国在某些情况下没有大规模建设，很大程度上只是需求问题。我认为电力就是这种情况。所以我认为在那种情况下，我只是觉得，是的，我觉得我们只是，Tyler Cowen 怎么说来着？不要低估供给弹性，这是我要指出的主要一点。在能力方面，我更加不确定。特别是，我仍然有些困惑，也没有真正深入研究过，你从 LLM 和基础模型直接获得多少机器人能力？特别是，我另一个不确定的是，我不清楚极其精细、极其灵巧的能力是否是大规模工业爆发所需要的主要东西。因此，机器人技术最难部分的这个长尾，我不确定它是否是大规模工业爆发的最大障碍。总的来说，机器人技术是我专业知识较少的领域。我感兴趣的是，有多少末日场景最终是通过机器人技术获得的硬实力来实现的。我认为我的部分不确定性也来自，对我来说，获得大量硬实力并构成相当灾难性甚至灭绝风险所需的最低能力，更像是拥有核密码之类的吗？我觉得我对此没有很好的想法。我感兴趣的是更多的威胁建模，但我认为部分问题是，能力趋势是什么，人们对此有分歧，那么造成这些灭绝级伤害，或者足够灾难性、永久改变人类轨迹的伤害，所需的最低能力是什么？

00:22:46 Nathan Lambert：是的。我要说的最后一点关于——

00:22:47 JS Denain：我认为这就是我想看到更多思考的那类问题，但是的。

00:22:50 Nathan Lambert：关于机器人技术，我要说的最后一点是，我认为机器人在受限和重复的环境中会非常出色，比如制造机器人，而机器人走上街头与人类共处还需要更长时间。如果我要深入研究这个，我会希望与正在建设多个不同数据中心的人进行研究和讨论，了解他们工作中的多样性有多少， versus 有多少只是从卡车上取下箱子放到指定位置。我没有好的信号来判断现在这种重复性有多明显， versus 更多人类灵巧性和解决问题的创造力。

00:23:34 JS Denain：是的。不过目前，这些环境都是围绕人类设计的，而人类在这些方面相当灵活，并且还有其他限制。你可以想象，以机器人为先来设计工厂，我想你提到的是亚马逊，对吧？它现在做得更多了。所以你也可以……是的，我认为这就是那种参差不齐会带来的东西，即你可能会看到巨大的加速，包括某些行业的物理世界，即使完全像人类那样灵巧或灵活的能力可能还不具备。大体上，是的。我认为大体上，是的，机器人能力在我看来非常重要，需要追踪。我们在 Epoch 有过一些文章讨论这个，但我们并不声称拥有机器人技术专长。

00:24:21 Nathan Lambert：是的。我同意。我想我们可以转向另一个能力话题，那就是你认为中国顶尖实验室落后 OpenAI 和 Anthropic 多远？你可以定义你想如何衡量，无论是公开模型还是内部模型。我认为两者都做其实很有意思。比如，你会如何描述这个差距？比如，选择你的……这是少数几件我会逼你给出数字的事情之一。

00:24:47 JS Denain：是的。我想我会说，大概六到八个月左右吧。

00:24:53 Nathan Lambert：从公开到公开？

00:24:56 JS Denain：是的。比如，发布日期到发布日期。我没有很好的确切数字，比如内部到公开部署需要多久。是的，如果你计算模型构建的时间，抱歉，这个数字可能会增加一点，因为我预计 OpenAI 和 Anthropic 的延迟会比中国实验室更大。但是的，我不知道，只是看 ECI，那里有几种不同的方法可以用，而且这些方法之间有相当多的噪声。这些方法还算合理，我的感觉是它们给出的结果大约在六到八个月左右。

00:25:28 Nathan Lambert：我会说，像 Kimi K3 和 GLM 5.2 更接近两到三或四个月。所以你认为那些是异常值，是由于测量还是过拟合？我和Florian经常讨论这个。Florian 帮我做 Interconnects，他一直在反驳我。我觉得我直觉上更接近你的看法。我认为那两个模型，尤其是Artificial Analysis，非常接近。我想 Kimi 当时在 Artificial Analysis 指数上甚至可能不到两个月。我只是把这个提出来，我一直在反复思考这个问题。

00:26:12 JS Denain：所以我不太记得 Artificial Analysis Index 上特别最新的细节了。我的感觉是，由于整理方面的原因或其他什么，它可能低估了这个差距，但我不想对此过于自信，因为他们也会更新方法论之类的东西。不过我觉得即使在 ECI 中，也有一些情况更像是四个月。是的，我不知道。四到八个月对我来说似乎是合理的。我觉得如果是两个月，我会说，“不，那看起来更像是过拟合了。”我们内部确实研究过过拟合在多大程度上解释了这个差距。比如，就做那种 ECI 滞后分析，如果你只是基于私有基准测试来计算 ECI，而不是不这样做，或者私有基准测试加上那些来自模型发布后才公布的基准测试的结果，或者类似的情况，那里没有污染风险。我认为总体而言，这个效应基本上没有统计学显著性，这很有意思。我觉得如果你只依赖模型卡中的结果，而不是放入 ECI 的结果，我们可能会得到一些污染或过拟合效应。我仍然认为在某种程度上，是的，像 ECI 这样的东西可能会低估这个差距，因为我确实认为 OpenAI 和 Anthropic 可能就像……可能还有其他能力只是不太会出现在基准测试中，而且在那些地方有更多的优化或服务于更广泛的用户群体。但是的，我不知道。这就是我的总体数字。

00:27:39 Nathan Lambert：如果我们有效地禁止蒸馏，甚至不只是禁止，而是如果蒸馏被有效地停止，你认为六到十二个月后这个数字会是多少？我认为如果 RSI 不是超级疯狂的话。我认为如果 RSI 变得超级疯狂，那些实验室会领先更多。

00:28:01 JS Denain：是的。按照目前的趋势，我实际上已经更新了看法，认为蒸馏确实是一个非常重要的因素。我们可以讨论不同的因素。所以，好吧，所以目前如果我说是六个月的差距，那么六个月后，可能不会真的是十二个月，对吧？所以，我的猜测是，是的，你大概会在八或九个月左右，类似这样。你可能会从六个月变成九个月。

00:28:31 Nathan Lambert：你为什么更新了关于蒸馏有效的看法？

00:28:35 JS Denain：是的。所以我觉得，是的，有两个原因。我觉得，一个不太有说服力的原因是，我不知道，似乎有更多人在说这个。

00:28:45 Nathan Lambert：他们确实一直在说。我对此感到惊讶。

00:28:47 JS Denain：是的。Stolen Thoughts这篇论文确实表明，获取这些东西实际上相对容易。是的，随便聊聊。我觉得还有一个重要点，我们可以聊聊这个，就是思考关于滞后现象的其他解释，以及它们不像我最初想的那么有说服力。我确实认为Claude routers这件事看起来也相当重要。最初我想到蒸馏的时候，并没有考虑到这一点。但我确实认为，Claude routers 能为真实使用场景、用例之类提供恰当的提示分布，这看起来相当有用。

00:29:26 Nathan Lambert：但话说回来，这些公司现在也有自己的使用数据。而且我们还有基准测试。所以基准分布我们已经有了。所以我不一定认为蒸馏在帮助……我认为 routers 可能非常有用，但我对那个提示分布的说法感到困惑，因为一旦你有了基准分布，你只需要制作类似的样本或找到类似的样本就行了。

00:29:50 JS Denain：是的，我同意。所以我认为 Claude routers 只是给了你一堆有用的数据来训练，这通常会提升能力。我认为这是一种解释。我同意，提供恰当的提示分布，我认为对真实世界的能力是有用的。我同意，如果纯粹是在讨论这个 ECI 滞后之类的，那么是的，你直接用基准的提示分布就行了。所以我认为在那方面它不会是一个很好的解释。是的。我觉得只是……是的。另外，举个例子，对吧，人们说 mid-training 是一件非常重要的事情之类的。我认为实际上在那次对话中，Beren 说，“Mid-training 实际上能让你完成 80% 的路。”还有更多这类说法，以及普遍认为 RL 非常有用但并没有做那么多探索工作的观点，我认为这也是一个证据，说明对语言轨迹做 SFT 真的很有用。

00:30:48 Nathan Lambert：是的。我想过一遍——

00:30:50 JS Denain：我想他在一篇帖子中提到过这一点，这是一个好的初始化，但我想我更新了看法，这个初始化真的非常非常重要。是的。

00:30:59 Nathan Lambert：是的，因为我仍然站在这一边：我认为把 RL 做好、把 RL 做得更快，从而能够做得更大，才是人们获得能力提升的方式。但我最近听到更多关于这种反复……这个框架会是：在 mid-training SFT 和 RL 之间有一个非常反复的循环，然后你的 RL 峰值会帮助你反哺 mid-training，而不是一次非常大的 RL 运行，这是我从未想过的……RL 运行大概是一周。我不觉得它们有多疯狂，尤其是像 Zhipu 或 Kimi 那样的。而那……所以我能看到这一点，我当时想，“我真的不太确定。”我通常认为，因为模型变得如此有用，我不知道怎么……看起来，要想真正为 mid-training 做到这一点，蒸馏的规模需要非常大。而反方论点是，Kimi 和 GLM 5.3 也是很强的模型，所以如果差距那么小，我就觉得帮助会那么大说不通。这就是为什么我仍然没有被说服，但在寻找更多证据。然后其他一些……我面前有这篇我写的博文。如果你想更多地谈论蒸馏，你可以在我切换到其他话题之前把那个评论加进来。

00:32:21 JS Denain：我想我挺有兴趣谈谈替代解释之类的……我觉得存在这样一个普遍现象：中国实验室的资金要少得多，尤其是算力比美国实验室少得多。而这种延迟是巨大的。然后这个，无论是四个月还是八个月，能力上的延迟都比资金上的延迟短得多。所以，这需要一些解释。

00:32:48 Nathan Lambert：是的。我们是否认为中国实验室从 RL 完成到公众获得 API 和评估分数，仍然在显著更快地发布？过去，我认为发布所需的时间要快得多，而且我认为实验室现在发布中间版本的速度更快了，所以我不知道这是否能解释那么多。但我会说，一年前，我会把更多原因归于中国模型能在几天内推出模型，而美国实验室可能需要几个月，那会人为地大幅压缩差距。

00:33:26 JS Denain：为什么会把差距压缩那么多？

00:33:28 Nathan Lambert：因为你有一条能力轨迹，较高的一端是 OpenAI 和 Anthropic，他们在这里停止训练，然后中国实验室在这里。但随后就像模型在发布之前一直停滞不前。

00:33:44 JS Denain：是的，我认为这取决于……这既取决于你用来计算滞后时间的方法之类的，对吧？所以我的感觉是，我想当我说四到八个月时，我认为很多这种不确定性区间也来自于：你是通过向前看还是向后看来衡量这个方法之类的？或者你如何解决这种不确定性？你是采用这种阶梯式还是那种阶梯式，还是进行插值之类的？所以我认为这仍然被计入不确定性中。所以我的猜测是，那并不是一个巨大的……或者说，即使考虑到这一点，我认为仍然有一个很大的效应需要解释。而且我认为，是的，这些是其他可能的解释，对吧？所以一个是，也许在算力方面存在很大的延迟，但在劳动力或潜在的数据方面，延迟较小，而这些是重要因素。所以即使你在算力上落后两年，如果你在数据上落后六个月，而实际上在研究人员数量上领先之类的，或者在研究人员数量上并没有那么落后，也许这有助于追赶，而这甚至不是溢出效应，对吧？那只是一个原因。是的，还有蒸馏。人们提出的其他解释是，想法可能会泄露，我不认为那是一个巨大的效应。人们可以玩一个模型，通过玩这个模型，他们可能会推断出它是在什么上训练的，或者什么是有用的推进方向，这是另一种解释。这些事情不太像蒸馏，但使用 Claude 作为你的奖励模型，或者使用 Claude 来清理数据之类的，也许会有一些溢出效应。

00:35:23 Nathan Lambert：让我们看看。我试着量化一些。我想说，我认为中国的实验室出于财务原因更关心基准测试……其中一些是上市公司，展示接近的基准测试对他们帮助很大。所以我确实认为他们更关心这个。我不知道那是否会给你一两个月。我不知道你会拿回什么，比如一两个月。我认为中国的实验室很有可能在组织人才方面更擅长，只是做非常平凡的爬山式数据工作。我不认为那是一个巨大的效应，但就像他们拥有大量人才，而且从文化上通过……我认为很有可能只是更多的苦干。他们实际上可能比美国的实验室更有效地苦干，这是……我不知道怎么做到的。我不会对此赋予太多权重，因为我认为这相当接近，但我认为那是一个机会。但那是非常边际的……那不是巨大的领先原因。我会把更多归因于算力差异，而不是蒸馏。但也许蒸馏作为算力差异非常相关，因为它是一种将……它是一种将金钱转化为非常高质量数据的方式的定义，而那是你原本需要算力来做的事情。

00:36:35 JS Denain：是的。我验证过的另一个理论，我不确定它有多重要，就是美国有这样一个数据市场，也许会发生的一件事是，最好的强化学习环境或评估，实际上需要大量算力才能弄清楚哪些是最好的。所以也许数据提供商和 AI 实验室之间存在某种合作，来实际测试并弄清楚哪些强化学习环境真正有效。然后也许那个数据提供商，一旦完成了这个迭代——这意味着一家前沿实验室投入了大量研发算力——他们就会构建一堆类似的强化学习环境，因为他们已经学到了经验，然后他们会延迟一段时间再出售，但仍然会卖给其他人，包括中国的人。

00:37:21 Nathan Lambert：我从别人那里听说过这个。

00:37:22 JS Denain：所以存在这种隐性的研发算力投入，而且它被节省下来了。我不确定这有多重要。

00:37:29 Nathan Lambert：我多次听说过这个，包括从中国的人那里……这就像是我听过几次的多跳传闻，就是说，我们只需要等一段时间，然后就能以十分之一的价格买到 Anthropic 买的强化学习环境。我认为这可能对资本效率有很大贡献，但作为一个相信人为因素在模型进步中非常重要的人——就像竞争一样——我认为 OpenAI 和 Anthropic 现在感受到的竞争的类比，就是概念验证作为一种让事情变得容易得多的方式。而且我确实认为，OpenAI 和 Anthropic 这样的公司比中国实验室更有可能在诸如 Navier-Stokes、多智能体大规模扩展这类开放式事情上创新。和许多实验室谈过之后，我不认为他们会反驳这一点，但他们可能不会公开这么说。但他们就是觉得，跟上要容易得多。

00:38:27 JS Denain：是的。所以这更像是……是的，我描述这个的方式就像是四分钟跑一英里那种效应，你证明某件事是可能的，然后人们就有信心走那条路，不会浪费大量资源去探索一堆其他东西，这就是你在这里指出的。

00:38:43 Nathan Lambert：是的。而且我认为这——

00:38:44 JS Denain：我想我是在寻找你认为这……有哪些例子？因为例如，推理模型不是这个，对吧？就像 DeepSeek Math 之类的远早于 o1。是的，我有点好奇是否……是的，我同意这似乎有点道理，但我不确定我能举出前沿实验室做出重大创新的例子——

00:39:04 Nathan Lambert：我认为这更多是组织结构的问题。实验室里有研发和建模算力，我觉得这两者有点被混在一起了。实际上，把下一代模型做得更好的算力，和两三代之后的模型相比，差别非常大。我会认为中国的实验室只是在更短的时间范围内投入。然后，如果架构或其他方面出现重大创新并在美国生态系统中流传开来，我会假设中国的实验室也会搞明白。我不认为架构创新能在 Anthropic、OpenAI、Meta 和 Google 之间很好地保密。我认为这些都会通过人员流动很快泄露出去。

00:39:50 JS Denain：我明白了。所以你认为那确实有很大影响。那么基本上，我觉得你似乎只是认为，用其他解释就能走得很远，以至于你并不真的需要蒸馏来解释差距的很大一部分。

00:40:03 Nathan Lambert：是的。所以，我认为没有蒸馏，差距也会差不多。就像构建这些模型一样，有太多唾手可得的成果，而我不认为蒸馏能堵上你在做的那么多唾手可得的成果。这很不清楚。就像一旦你把你的推理轨迹确立为……这还没有被证实，但我认为在中期训练和 SFT 中，你需要在推理轨迹中有相当独特的风格，才能把它堆叠起来，并为模型定义一个明确的推理策略。Kimi 和 GLM 有这一点，我认为他们可以从他们现在的位置修改它。就像，如果 Anthropic 和 OpenAI 变化得快得多，随着时间的推移这会如何复合，也许就更重要了。我不知道。听起来我们没什么进展。我确实喜欢你关于理解中国招聘信息的帖子，我认为那是一种非常聪明的方式，试图窥探中国 AI 行业的幕后。所以我不知道你有没有觉得特别有趣的地方。就像，从外部很难理解那里正在发生的行业。

00:41:22 JS Denain：是的。所以这是 Cheryl Wu 和我的工作。我认为，作为一种证据来源，它更像是你可以得到有趣的轶事或有趣的事实。我认为它不太像 Epoch 那种你可以得到一条真正能很好追踪的趋势线的东西。我认为一些招聘趋势对此有好处，但我认为尤其是对中国来说，它更像，“哦，好吧，你可以看到他们在这个地区招聘数据中心职位，这似乎表明至少其中一些实验室基本上是在建设自己的数据中心，而不是从阿里巴巴或其他地方租用算力。”所以你会得到一些这样不错的事实。我认为你也能更多地了解不同公司有什么样的产品策略以及他们的目标是什么。所以我认为就此而言它相当有趣。这篇文章现在是在六月发表的，所以事情变化很快，情况可能已经变了。但是的，我认为在公司策略、他们如何——方面有有趣的收获。

00:42:31 Nathan Lambert：你能多谈谈公司战略吗？因为我觉得有很多东西被赋予了，比如说……中国不同的公司战略。就像，DeepSeek 的战略是什么？我认为 MiniMax 是其中比较明确的之一，然后是智谱。智谱有一些本地部署的东西，但在高层面上，我认为智谱可以更接近 OpenAI 和 Anthropic。但你同意这一点吗，还是你觉得它们中任何一个更有定义，或者有更有趣的不同之处？

00:43:03 JS Denain：是的。我的意思是，一方面就是，我觉得我们有这个关于 B2B 销售职位发布数量的图。举个例子，看起来 Z.ai，也就是智谱，确实比 MiniMax 或 Moonshot 多很多。我觉得另外，它们在想要国际化扩张的程度方面也有不同战略。我认为 MiniMax 在这方面有相当一部分，比 Z.ai 更多，我觉得这是我们发现的事情。我觉得还有几件类似这样的事。比如对 DeepSeek，我们没有看到那么多。

00:43:40 Nathan Lambert：做完这项分析后，你觉得你能把你们的分类体系交给一个 AI 模型，让它每三个月重做一次吗？你觉得这是不是现在 Epoch 几乎可以自动化的事情？

00:43:53 JS Denain：所以我觉得我们确实有一些关于职位发布的即将开展的项目。我觉得具体到这类事情，我感觉结论有点像是临时得出的之类的。所以我觉得它更依赖于你有一堆这样的数据，然后什么实际上看起来有趣？而且我相当经常觉得，LLM 对前五个最有趣事情的评估并不是那么好。但有一个例子，我觉得……其实我有一个非常糟糕的 vibe-coded 职位列表追踪器，它看起来更像是 OpenAI、Anthropic 的质量更好一些。我觉得 Epoch 可能过一阵子会有相关的东西。但 AI 相当有用的一个例子就是，不知道，你只是想合理地把职位分类为它们基本上是研究职位还是基本上是工程职位？或者也许研究工程其实很难，但它们是研究职位还是 GTM 职位？而且团队结构在不同公司之间不会一致，但你可以用 AI 自动随着时间追踪这个，并有一些一致的类别。这样你就能得到趋势，比如，“哦，看起来这家前沿 AI 实验室的招聘激增了，而且基本上主要是销售，或者主要是硬件基础设施。”我觉得这很酷、很有趣，而且可自动化。

00:45:14 Nathan Lambert：是的。我觉得如果你再做一次，我感兴趣的是你是否会发现关于数据市场扩张的东西，那就像是你的工作是买数据。因为我从很多人那里听说中国的数据市场正在爆发，我也问过各种人，无论是实验室里我认识的人，还是我认识的那些密切关注中国产业的人。结果他们都说：“是啊，但我没法让任何人接电话来了解这具体表现为什么，以及他们的预算可能是多少，”因为 Anthropic 以拥有十亿美元级的预算而闻名。我觉得这很快就会变得非常重要，就像算力出口管制的讨论之类的东西。到今年年底，我猜会有一些文章谈论这个并深入报道。但在我看来，获取那些报道信息几乎是不可能的。

00:46:05 JS Denain：是的。我觉得数据这块真的很难搞。对 Epoch 来说，数据一直是个棘手的问题。它显然是一个极其重要的因素，但更难量化或商品化，而且也非常保密。所以我觉得很多信息都是小道消息，很难知道该信多少。关于中国的，我的感觉是，我觉得那篇文章其实对此有些内容。看起来总体上中国公司确实有更多的内部化，我觉得这也适用于数据。而且相关的是，实际上，有很多实习岗位的招聘。我觉得如果你去看很多这些公司的招聘页面，会专门有两个标签页。他们有暑期实习标签页或实习标签页，以及普通招聘标签页。而且我觉得有很多招聘相当初级的人，其中一些可能是为了数据目的。但你也确实看到前沿 AI 公司在数据方面内部化的激增。我不确定现在是否还是这样，但 xAI 是唯一有这个东西的公司，不过它挺好的，因为如果你去招聘页面，实际上有一个人类数据类别，你可以直接看到他们在招哪些数据岗位。所以在数据方面的招聘信息上也有东西可挖，xAI 都是如此。我之前和 Mercor 以及其他几家做过这个。但我觉得类似地，我觉得最有趣的事情一直是那种，“哦，那是个超疯狂的角色。”xAI 在招梗图专家之类的，至少从我所看到的来看，更多是零散有趣的东西，而不是大趋势。

00:47:35 Nathan Lambert：是的。我觉得不幸的是，这不会改变。看起来非常像是实验室里的各个团队在数据公司有联系人，而这一切都是私下进行的，而且不是……我猜就连追踪算力也相当困难，但现在数据中心是一种某种程度上可追踪的表现形式。而 NVIDIA 是一家上市公司，这就是已经做到的。如果数据公司是上市公司，可能就更容易理清一些事情。

00:48:13 JS Denain：同意。

00:48:13 Nathan Lambert：好，我们还有一个应时的话题。你怎么看待前沿模型的安全防护措施？考虑到在过去24小时里，我们得知三个人利用公开的Claude模型入侵了OpenAI并获取了内部访问权限，这在我看来简直疯狂。你看到这个了吗？这确实让我感到惊讶，我们竟身处这样一个漏洞百出的世界。与此同时，我们正在更严肃地讨论RSI相关事宜。

00:48:46 JS Denain：是的。我简单看了一下这个事件。我想我不确定这应该多大程度上更新我们对模型防护措施的看法，还是说更多关乎公司的安全质量，或者两者兼有。我认为这是个重大问题，对吧？比如，模型防护措施到底有多好？这似乎相当重要，尤其是当人们在讨论开放模型时，显然开放模型的防护措施更差，因为用户可以拥有更多操作可能性，但同时开放模型的能力也更弱。所以就滥用影响而言，似乎存在一种稍微有防护、非常强大的模型，与完全没有防护、能力较弱的模型之间的对比。我觉得事先我并不清楚哪一种会产生最大的影响。嗯，我不确定。我认为这是个有趣的问题。我还觉得人们对此的看法似乎各不相同。有些人似乎坚信，至少很难持续地利用前沿模型做真正恶劣的事情。但我想，确实有像这样的明显例子，或者那篇《Stolen Thoughts》论文之类的。看起来防护措施并不足以阻止这种事情发生，尽管公司有强烈的动机去防止它。

00:50:06 Nathan Lambert：是的，《Stolen Thoughts》——

00:50:07 JS Denain：我对此有点困惑。

00:50:09 Nathan Lambert: Stolen Thoughts I put into like a serving issue, which is just like you were able to kind of jailbreak the API functionality to get the reasoning traces out in a reliable manner. Which I think the Chinese labs almost certainly had been doing for some time. And that potentially has a way to show more about what the effect of distillation was. I would guess that there are other ways that they get those tokens out, unfortunately, if there was one such prominent one. And then there’s the models themselves, which is the safeguards they have on the models, which is like the classifiers and prompt distributions and things. And I would expect the models to be somewhat permanently leaky. I just think that it’s hard to imagine. If you have a less aligned model and the task is, “Help me figure out how to get around said aligned model’s safeguards,” I would guess that that’s in scope of a strong cyber model’s abilities to figure out some sort of jailbreak for another model. It seems hard to permanently squash these things with how leaky they are now, despite the supposed launch, like higher false positive rate and being so general, and people get upset when they launch and they’re getting downgraded all the time, and people’s accounts get banned for doing bio research and things. So it’s just like the whole thing seems like a very big mess. I would be on the opinion of like, I guess maybe this is somewhat why the whole Fable freakout went down, which is like Anthropic was like, “Mythos is a powerful weapon.” And then somebody told the government and was like, “It’s actually easy to get around it,” and then they freaked out. But I think of it as like some of the distillation story has been around distillation lets them scale, take dangerous capabilities. But I think if you’re hosting an API at all, you have to assume in the current and near future that you can extract the capabilities out of that model, even if it’s slightly safeguarded.

00:52:14 JS Denain: Yeah. I guess one thing is I’m not sure how they prioritize between different threat models, but they sure seem to have some incentive to prevent distillation. It’s also hard to know what the counterfactual is, right? We have these examples of people doing those bad things. There’s a lot of usage of those models. It’s also compatible with, in most cases, it is actually really hard, and those people figured it out, or there was some random blip that allowed them to do it. So I feel I don’t really know how to update on that evidence. But yeah, at least in some cases, people just do manage to get around it. Maybe one distinction is also like, how long do you have to do this for? So there’s the model’s alignment that’s in the weights of the model, and then there’s your synchronous monitoring that you can do in the moment. And surely that’s going to be way less effective than how good you’re going to be at detecting things where asynchronously able to spend a ton of compute to parse through trajectories and analyze group trajectories together and stuff like that. But that takes a longer time, and so if someone needs to do an attack very quickly, then it’s just too hard for someone to detect it in a moment. But then if someone wants to pursue a very long campaign, maybe it’s harder. I’m not sure how long those campaigns take or how effective those KYC things are. But that also seems relevant for other cases that are not about leaking capabilities, but about other cases of misuse.

00:53:38 Nathan Lambert: I guess to make it more specific, how much of, say, risk proliferating from open models do you think is down to the fact that people will serve the open models or can serve themselves without the additional oversight and classifiers, versus what I think was talked about more, which is just like fine-tune the safety away, which I think very few people are going to fine-tune Kimi K3. But if these classifiers that squash 99% of people at inference time just kind of blanket a lot of the risk, I think that’s almost more plausible. It’s a bit of a sequence to get there. You have to assume people could get around model safeguards, assume a lot of usage.

00:54:20 JS Denain: Yeah. I guess the fine-tuning thing right now is not a big deal because not that many people have the combination of motivation to do it and competence and willingness to do it. The bar for that also falls as AI research becomes more accessible. But yeah, I think right now, the fact that there’s basically no safeguards, or my sense is the inference providers aren’t trying as hard as Anthropic or something at this. I could be wrong about that, but that’s my impression. And also you can pick whichever one is least secured. So I think that’s a bigger deal, at least currently, yeah, I would expect. But yeah, I think it also depends. I think the main thing that I care about for this is actual threat modeling. I just feel kind of confused about which kind of group I should have in mind as the most likely person to do a bad thing with AI. And then I feel like if someone gives you an actual scenario, then I feel like you and I will have decent takes about will it be easier for them to use an open model or to try to jailbreak a closed model? And I just don’t currently feel like I have a good sense of this. But I think—

00:55:24 Nathan Lambert: When this is so ambiguous, I think it makes me feel a bit better about the near term, which is just like these safety tools are, it’s to some capacity inadequate now, and there are strong open models, and it’s not like all hell is breaking loose. And you have to keep reevaluating this as things change. But I think it doesn’t seem like things are going to change. I don’t think there’s that much of step function changes. I personally need to learn more about biorisk that people very often talk about, and I think need to... My question is, what is the actual manufacturing pathway and where is the model intelligence at now? Where I think cybersecurity, we’re in it. We’re in what it’s going to be like for a bit, and it’s not good, but it’s not like nothing horrible has happened yet, and it’s okay. I don’t think there’s going to be more.

00:56:25 JS Denain: I don’t know what the sense with the evidence is, right? Companies don’t love to admit. I think it’s famously kind of hard to estimate cybersecurity costs and stuff. I know we want to look at insurance costs. I don’t think they’ve changed that much, but it would be interesting to look at right now. Like cybersecurity inference prices or something is like what percentages you can look at, but companies don’t love to disclose they’ve been hacked, and so they sometimes just pay. But yeah, definitely, yeah.

00:56:50 Nathan Lambert: That’s a good point as well.

00:56:51 JS Denain: I don’t feel like I have a ton of expertise there, but I’m pretty interested in those questions.

00:56:57 Nathan Lambert: I’m glad that this was a kind of like, “We don’t know, it could be worse,” and not a, “This is the list of very bad things.” Which is, it’s hard to motivate people when it’s like, “I think we need to keep preparing, and you need to assume that the Hugging Face thing might happen to you.” But it is not a super, it’s not an avalanche of compounding problems right now.

00:57:20 JS Denain: Yeah. I do expect Hugging Face-style things to happen kind of in the wild regularly and outside of OpenAI. And if it’s just that, then that’s not massively bad. I mean, it’s still a kind of screwed-up world. But I do expect more of this just happening with a variety of models and neoclouds and stuff over the next year. Just a bunch of open source agents that people can’t control.

00:57:44 Nathan Lambert: Yeah. I do think your threat model thing is a good understanding, and it’s like, who are the people that would try to take down an energy grid in a domestic area? And I think the list is pretty small. And it’s like, what are they doing? And I’m not an expert in this at all.

00:58:02 JS Denain: Yeah. I feel like the biggest safeguard is just there’s not that many people who want to do horrible things. Fingers crossed.

00:58:10 Nathan Lambert: Yeah. Okay, I have a fun question. I think it’s like Epoch AI creates so much of this kind of area setting information for different parts of the AI discourse. One thing is, is there a fun process on how you choose problems that you think are important? Are you guys constantly underwater and wanting to do different things, or is sometimes it’s like, “Now’s our moment?” Just behind the curtain of Epoch and what you guys do culturally is fun to me.

00:58:41 JS Denain: I think what determines project selection, I do think it is very what seem like the important questions to us are quite curiosity-driven overall. I think that’s probably the main thing is just what seems like a huge deal, I think has been the main determinant of where efforts go. More specifically, yeah, another framing is the Epoch was created as this thing where it seemed like neither the industry nor academia would be able to provide a good public resource is also well-maintained on the most important trends in AI. So it seemed like there was something missing. Another framing is, I know, what do people have misconceptions about, is sometimes, “Oh, people are wrong on the internet,” kind of things. Some articles can be explained by this. But yeah, I think it’s very curiosity-driven. And also it’s just like, oh, what’s evidence that’s leaking information that’s laying out there that we can use? Like, the job postings is this. Data center tracking is very much this as well. It’s like, man, these are big objects. Surely you can see them and track them.

00:59:53 Nathan Lambert: Do you think the information needed to understand the AI industry is stable in your access, like getting less accessible, getting more accessible over time?

01:00:03 JS Denain: I mean, it really depends, right? I think data center is, so far at least, it’s pretty good, and they’re getting bigger, which makes it easier. I could imagine at some point it becomes a really strategic asset, and there’s way more adversarial pressure to hide them or at least hide key information. For now, it’s pretty good, right? In contrast, Epoch is an effort to track model training compute, and at the time, you could just look at the paper. It’s much harder to do this with Astra. So yeah, I think it depends on the verticals. One thing that I mentioned before is, yeah, data is pretty rough. We’ve had some stuff on this, but it’s much tougher than compute, and it’s pretty secretive. So yeah, I think it depends on the vertical. Oh, yeah. One thing is, as the economy grows and companies go public, that’s better information, right? So that’s true for compute companies. As IPOs happen, that also helps get more data.

01:00:55 Nathan Lambert: Yeah. I find it very interesting. It’s like I’ve long wanted to know what a post-training... Like, what is a flowchart of a post-training recipe at a frontier lab? And I think it would be wild, and I think those flowcharts exist. And even some old ones, I think, would give people a lot of thought, because I do not think it looks remotely like the OLMo three-stage approximation type thing. And we have some from like Nemotron and some of the Chinese labs release stuff on it. But when you hear John Schulman talk about post-training and other people, it seems like the total Wild West and just stacking everything together. That framing for like that framing for what is the complexity of putting a model together, I think would be very useful for people as a mental model for what is being scaled and what are you scaling through. Like, yes, you are scaling, but if you’re scaling on top of this kind of house of cards thing, it’s not perfect.

01:01:55 JS Denain: Yeah. I’m actually curious. Yeah. I have this like... Okay, can I test my current mental model of this, which is pretty uncertain? My sense is this, okay, there’s a big post-training team, and it just has sub-teams that are kind of specialized. Like, some people are going to be doing math, and some people are going to be doing biology or finance or something. And the job of those teams is to ask for data and curate that data and make the RL environments good, and also figure out what kinds of hyperparameters work well for their own domain. And they do this by buying very high-quality evals that they use as a north star to iterate on and buying those RL environments. And their main output is basically like, “Here’s a curated set of environments, and here’s the hyperparameters that we want.” And then my sense is indeed now things are basically all those teams bid to put some fraction of their data into a final big RL training run. And they also bid to maybe for the hyperparameters of that final RL run to be close to what they want, question mark. That’s at least for the RL process. And then there’s in fact a big RL run. Another alternative would be, of course, they all do their experts, they distill them back into... Does that roughly what things are like? This looks—

01:03:16 Nathan Lambert: I think the org side, I agree a lot. I think the org side, there’s definitely per domain expertise, and it’s a lot of why I didn’t want to go get a frontier lab job, because most likely I would just be given, like, “You’re going to work on this data and you turn the crank.” I don’t know if the complexity is a lot higher on how you put it together. I think it’s interesting that the open weight models are split between multi-teacher on-policy distillation, and some are just like do sequential RL. I think the diversity there would be very, very interesting to the industry of whether you have multiple RL runs, how do you decide which environment to do and which of the stages? How do you manage mid-training and SFT? I think mid-training and SFT, I think, are one stage in the frontier lab, and the base model is just before mid-training, and then you do a whole bunch of stuff at the end there. And I just think there’s a lot of things you can do, and I feel like if OpenAI and Anthropic’s recipes were closer to mid-training and then big RL run, if that’s actually getting them to where they are, I think I would expect progress to go faster than if it’s mid-training and fork and model merge and bunch of experts and MOPD and then more RL. I think that just is a bit of a bottleneck on progress, and it would be very useful to have more information on what does model training look like.

01:04:44 JS Denain: My vague sense, but I don’t have super hard evidence on this, is that it has gone more in the direction of, yeah, away from MOPD with multiple experts and a ton of checkpoints, and a bit more in the direction of like, okay, there’s in fact one big run towards the end, but of course, much federation before, but I don’t know that.

01:05:01 Nathan Lambert: Yeah, maybe the rumors we’re hearing about mid-training being important and distillation is from that style of loop rather than the expert style loop. I don’t think we’ll know. I think we could continue that another time. This was fun. I think you should keep giving your incisive responses when I write something. I think this will be very useful to people and good to finally chat a bit longer.

01:05:24 JS Denain: Likewise, yeah. Thanks a lot.

01:05:26 Nathan Lambert: See you soon. Bye.