Andrej Karpathy：人们对 LLM 能力的认知正分裂成四个层级

翻出这条四月的推文，因为大家对 LLM 能力认知上的这道鸿沟正在*不断加宽*。现在这已经不太像是“两拨人各说各话”，而更像一个急剧收窄的漏斗。 - 粗略估算，大约有 60 亿人（约占人口的 75%）几乎从未接触过 LLM。 - 大约 10 到 20 亿人（约 20%）是免费版类 ChatGPT 产品的随意、低频用户。这个群体看到的是些笨拙的聊天机器人，把它们当作稍微好一点的谷歌搜索、写作辅助之类的工具。也许会有个 agent 试着帮你订机票。我有一些非技术圈的朋友（在我看来挺合理）说他们根本用不太上这东西。即便是数学&代码领域之外的许多专业人士也处在这一层。比如高管和许多其他职能的人，他们大量时间都在跟人交谈，所以虽然他们在理智上明白正在发生什么，但那仍是二手信息，有点抽象。 - 接下来是数学&代码领域对前沿级 LLM 的专业使用。大约有 2000 万人（0.2%）亲眼看到，过去要花他们数周/数月的大型复杂项目，如今 agent 一个提示就能完成。构建应用、复制应用、翻译应用、从二进制文件反编译应用……这一切都发生得非常快、非常近——不到一年前，我还在手写代码，一个字符一个字符地把记在脑子里的计算机代码命令敲进代码编辑器，偶尔按一下 Tab 自动补全一小段代码。 - 最后是那约 5000 人（约 0.00006%），他们能在内部使用前沿级系统。外部世界看到的只是预览。它看起来像是成千上万个 agent 组成的集群，在数周内协作推进软件巨型项目：铸造零日漏洞、以机器速度发起网络攻击与防御、发现新科学、推进数学前沿。这些事若由业内顶尖专业人士来做，本需数年之功。与此同时，人类的审查和理解正开始跟不上。比如，人们至今仍在参与数月前 OpenAI-HF 事件的“考古”。数学家们可能还要花上一阵子仔细研读那 722 篇前沿数学手稿。 这个漏斗由多种因素共同驱动： 1. 影响随雄心、问题规模和视野而放大。一个只需一段话回答的问题几乎压不出系统的实力。你需要一批你真正在意的大型、困难问题。这一方面驱动了漏斗中消费者/专业人士这一维度。 2. 系统的参差不齐（我另文写过很多）。能力在数字化、可验证且具经济价值的领域达到峰值。这是因为 LLM 的能力源自对可验证奖励的强化学习，而训练环境组合由收入潜力驱动。这一方面主要驱动了漏斗中领域（如数学&代码）这一维度。 3. 访问权限。免费层、付费层、内部层。 所以这就是当下的怪异之处。普通大众大多没和这些系统打过交道。即便打过，看到的也像个笨拙的聊天机器人。大多数专业人士仍只看到温和的提升。而一小撮专业人士正体验着曲线垂直上升带来的眩晕。而这一切都同时发生着。