Karpathy 提出 LLM 能力认知漏斗，Ethan Mollick 补充实验室内部应用仍集中

翻出这条4月的推文，因为对LLM能力的共同理解上的这道鸿沟正在*扩大*。现在它已不太像"两群人各说各话"，而更像一个急剧收窄的漏斗。 - 粗略估算，大约60亿人（约占人口的75%）几乎从未接触过LLM。 - 大约10-20亿人（约20%）是免费版类ChatGPT产品的随意、低频用户。这群人看到的是笨拙的聊天机器人，把它当作一个更好用的谷歌搜索、写作辅助之类的东西。也许有个agent会试着帮你订机票。我有一些非技术圈的朋友（在我看来，他们的说法挺合理）说他们根本用不上这东西。即便是数学&编程之外的许多专业人士也处于这一层。比如，高管和许多其他职能的人把大量时间花在与他人交谈上，所以尽管他们在智识上明白正在发生什么，那仍然是二手的、有些抽象的。 - 现在我们来到数学&编程领域对前沿级LLM的专业使用。大约2000万人（0.2%）亲眼看到，过去需要他们数周/数月的大型复杂项目，如今agent一个提示词就能完成。构建应用、复制应用、翻译应用、从二进制文件反编译应用……这一切都发生得非常快、非常近——不到1年前，我还在手写代码，一个字符一个字符地把记在脑子里的计算机代码命令敲进代码编辑器，偶尔按一下Tab来自动补全一小段代码。 - 最后我们来到约5000人（约0.00006%），他们能在内部使用前沿级系统。外部世界只见过预览。它看起来像是成千上万个agent组成的集群在数周内协作完成软件巨型项目：铸造零日漏洞、以机器速度发起网络攻击与防御、发现新科学、推进数学前沿。这些事本会耗费业内顶尖专业人士数年的工作。与此同时，人类的审查和理解正开始落后。例如，人们至今仍在参与数月前OpenAI-HF事件的"考古"。数学家们可能还要花上一阵子仔细研读那722篇前沿数学手稿。 这个漏斗由多种因素共同驱动： 1. 影响随雄心、问题规模和视野而放大。一个只需一段话回答的问题几乎不会给系统带来压力。你需要一批你真正在意的、庞大而困难的问题。这一方面驱动了漏斗的消费者/专业人士维度。 2. 系统的参差不齐（我另文写过很多）。能力在数字化、可验证且具有经济价值的领域达到峰值。这是因为LLM的能力源自对可验证奖励的强化学习，而其所依托的环境组合由收入潜力驱动。这一方面主要驱动了漏斗的领域（如数学&编程）维度。 3. 访问权限。免费层、付费层、内部。 所以这就是当下的怪异之处。公众大多没有与这些系统互动过。即便互动过，看到的也只是一个笨拙的聊天机器人。大多数专业人士仍只看到温和的提升。而一小撮专业人士正体验着曲线垂直上升带来的眩晕。而这一切都在同时发生。