Nathan Lambert 做客 a16z 播客：谈开源模型、agent swarm 与 Trillium Labs

Nathan Lambert，前 Allen Institute for AI 后训练联合负责人，现正创办 Trillium——一家非营利开源 AI 实验室，做客 a16z 的 Lisha Li，讨论开源模型是否真能跟上前沿。 当他告诉中国的研究人员，据称一位普通的 OpenAI 研究员有五千块 H100 可用时，“他们的下巴直接掉到地上。”在他看来，中国实验室有人才，但大多缺算力。 他还认为蒸馏的故事被夸大了。基于研究，他把它的优势定在几个月，并说认为只有美国实验室能做出好模型“有点自我安慰”。 数学和代码之外的大量前沿进展，归根结底是实验室在购买 1）数据和 2）RL 环境。这是一个数十亿美元的市场，其中一些粗糙到足以教会模型 reward hack。 这正是 Trillium 存在的重要原因。Nathan 想免费公开别人会拿来卖的环境，并展示他的团队究竟如何用 AI 构建 AI，包括模型仍会卡在哪里。他赌的是，越多人能看到这如何运作，大家就对即将到来的东西准备得越充分。 0:55 开源模型能跟上前沿吗？ 2:05 达到前沿需要什么 3:55 开放权重与快速跟随者的打法 8:25 中国实验室：人才相当，算力更少 9:55 为什么蒸馏比看起来更难 14:55 蒸馏是盗窃还是竞争？ 16:20 实验室飞轮 vs 拥有自己的权重 21:45 通用模型能击败每一个专家吗？ 26:30 4 年后 AI 成本降至今天的 1% 27:15 RL 环境热潮与 reward hacking 31:30 Trillium 将公开构建什么 35:30 在 AI 垃圾内容时代闯入 AI 38:05 开源 AI 如何构建 AI 44:25 为什么 Nathan 不做预训练 49:45 Agent swarm 与实验室机密为何泄露 54:25 快速起飞 vs 已经到来的风险 YouTube：https://youtu.be/BKuK0M6oDTI @natolambert @trillium_labs @lishali88