跳到正文
RadarAI· X:Andrej Karpathy (@karpathy)·· 6 天前AI 评分62

Karpathy:LLM 能力认知鸿沟正扩大为漏斗,仅约 0.2% 的专业用户看到前沿智能体能力

AI 导读

Andrej Karpathy 重发并扩展其 4 月的观点,认为外界对 LLM 能力的共识差距正从两群人各说各话变成一个急剧收窄的漏斗。

正文 · AI 翻译

Andrej Karpathy· @karpathy · X·2026-10-12 03:12· 16 分钟前AI 评分66

AI 导读

Andrej Karpathy 重发并扩展其 4 月的观点,认为外界对 LLM 能力的共识差距正从“两群人各说各话”变成一个急剧收窄的漏斗。

正文

翻出这条 4 月的推文,是因为对 LLM 能力的共识差距正在*扩大*。现在这已不太像“两群人各说各话”,而更像一个急剧收窄的漏斗。

  • 粗略估算,大约 60 亿人(约占总人口的 75%)几乎从未接触过 LLM。
  • 大约 10-20 亿人(约 20%)是免费版类 ChatGPT 产品的随意、低频用户。这群人看到的是笨拙的聊天机器人,把它当作更好用的谷歌搜索、写作辅助之类的工具。也许有个 agent 会试着帮你订机票。我有一些非技术圈的朋友(在我看来,他们的说法很合理)表示自己根本用不上它。即便是数学和代码领域之外的许多专业人士也处于这一层。例如,高管和许多其他职能的人大部分时间都在与人交谈,所以尽管他们在智识上明白正在发生什么,那仍然是二手信息,有些抽象。
  • 现在我们来到数学和代码领域对前沿级 LLM 的专业使用。大约 2000 万人(0.2%)亲眼看到,过去需要数周乃至数月的大型复杂项目,如今 agent 只需一个提示词就能完成。构建应用、复制应用、翻译应用、从二进制文件反编译应用……这一切都发生得非常快、非常近——不到一年前,我还在手动写代码,一个字符一个字符地把背下来的计算机代码命令敲进代码编辑器,偶尔按一下 Tab 自动补全一小段代码。
  • 最后,我们来到约 5,000 人(约 0.00006%)这一层,他们能在内部使用前沿级系统。外部世界已经看到了预览。它看起来像是成千上万个 agent 组成的集群,在软件巨型项目上协作数周:铸造零日漏洞、以机器速度运行网络攻击与防御、发现新科学、推进数学前沿。这些事若由业内顶尖专业人士来做,需要数年之功。与此同时,人类的审查和理解开始落后。例如,人们至今仍在参与数月前 OpenAI-HF 事件的“考古”。数学家们可能还要花上一段时间仔细研读那 722 篇前沿数学手稿。

这个漏斗由多种因素共同驱动:
1. 影响力随雄心、问题规模和视野而放大。一个只需一段话回答的问题几乎不会给系统带来压力。你需要储备大量你真正在意的、宏大而困难的问题。这一方面驱动了漏斗的消费者/专业者维度。
2. 系统的参差不齐(我另外写过很多关于这一点的内容)。能力在数字化、可验证且具有经济价值的领域达到峰值。这是因为 LLM 的能力源自对可验证奖励的强化学习,而其所依托的环境组合由收入潜力驱动。这一方面主要驱动了漏斗的领域(如数学和代码)维度。
3. 访问权限。免费层、付费层、内部层。

所以这就是当下的怪异之处。普通大众大多没有接触过这些系统。即便接触过,看到的也只是一个笨拙的聊天机器人。大多数专业人士仍然只看到有限的提升。而一小部分专业人士正在经历曲线垂直上升带来的眩晕感。而这一切都在同时发生。

引用Andrej Karpathy@karpathy
从我的时间线来看,人们对 AI 能力的理解存在越来越大的鸿沟。 我认为第一个问题在于使用的新近程度和层级。我想很多人去年某个时候试过 ChatGPT 的免费版,并让它过多地影响了自己对 AI 的看法。这是一群嘲笑模型各种怪癖、幻觉等的人的反应。是的,我也看到过 OpenAI 高级语音模式在诸如“我该开车还是走路去洗车店”这类简单问题上翻车的病毒式传播视频。问题在于,这些免费且老旧/已弃用的模型并不能反映今年最新一轮最先进智能体模型的能力,尤其是 OpenAI Codex 和 Claude Code。 但这又引出了第二个问题。即使人们每月花 200 美元使用最先进的模型,很多能力也相对“尖峰化”,集中在高度技术性的领域。搜索、写作、建议等典型查询*并非*能力提升最显著、最剧烈的领域。部分原因是强化学习的技术细节及其对可验证奖励的使用。但部分原因也在于,这些用例在公司攀爬高峰时没有得到足够的优先考虑,因为它们带来的 $$$ 价值没那么大。金矿在别处,焦点也随之而去。 这就引出了第二群人,他们*既* 1)付费使用最前沿的智能体模型(OpenAI Codex / Claude Code),*又* 2)在编程、数学和研究等技术领域将其用于专业工作。这群人最容易患上“AI 精神病”,因为今年这些领域的最新进步简直令人震惊。当你把计算机终端交给这些模型之一时,你现在可以看着它们把你通常预期需要数天/数周工作才能解决的编程问题瞬间融化。正是这第二群人赋予了这些能力、它们的斜率以及各种网络相关影响大得多的分量。 长话短说,这两群人各说各话。确实同时存在这样的情况:OpenAI 免费的、我觉得有点被冷落(?)的“高级语音模式”会在你 Instagram 短视频里最蠢的问题上翻车,*与此同时*,OpenAI 最高层级、付费的 Codex 模型会运行 1 个小时,连贯地重构整个代码库,或者发现并利用计算机系统中的漏洞。这部分确实有效,并取得了巨大进步,因为有两个特性:1)这些领域提供可验证的显式奖励函数,意味着它们很容易接受强化学习训练(例如单元测试通过与否,相比之下写作要显式评判就难得多),但还有 2)它们在 b2b 场景中价值大得多,意味着团队中最大的一部分人专注于改进它们。所以我们就到了这一步。
在 X 查看被引用的帖子

来源:Andrej Karpathy · x.com

来源:RadarAI · aihot.news