为什么说“没人理解 LLM 如何工作”是错的
针对 MIT Technology Review、TIME、WIRED 等媒体“没人知道 AI 如何工作”的说法,一位亲手训练过模型的研究者指出,LLM 是纯机械系统:文本先转为 token,再经 Transformer 各层的矩阵乘法、注意力计算、归一化和非线性变换,最终输出下一个 token 的概率分布。
针对 MIT Technology Review、TIME、WIRED 等媒体“没人知道 AI 如何工作”的说法,一位亲手训练过模型的研究者指出,LLM 是纯机械系统:文本先转为 token,再经 Transformer 各层的矩阵乘法、注意力计算、归一化和非线性变换,最终输出下一个 token 的概率分布。
Karpathy 引用自己 4 月的推文指出,全球约 80 亿人对大模型能力的接触程度已形成漏斗式分层,且这一认知差距仍在扩大。他估算约 60 亿人几乎没接触过大模型,10 到 20 亿人偶尔使用免费版 ChatGPT 类产品,约 2000 万人重度使用前沿模型和 Agent 改造工作,约 5000 人能接触 AI 实验室内部系统。
日本博主以丰田海外推行「改善(Kaizen)」时严格遵守的「工时减少绝不裁员」铁律为参照,指出企业若因 AI 提效就裁员,一线员工便会藏匿 AI 最佳实践。唯有将节省的时间转向业务创新与技能学习,才能真正汇聚一线智慧。
数学家 Kate Stange 与 Edmund Harriss 撰文讨论数学插画能否严谨,并回顾了 GPT-6 Astra 在 Ioannis Tsiokos 提示下发现首个三维非周期单密铺 Chair44 的过程:Tsiokos 分享了 61 页论文,Chaim Goodman-Strauss 随后将其提炼为围绕匹配箭头图示的 8 页经典层级证明。
Ethan Mollick 转引 Andrej Karpathy 的推文,Karpathy 估算约 75% 的人几乎没接触过 LLM,约 20% 是免费档轻度用户,约 2000 万数学与代码专业者能亲眼看到智能体在数周内完成过去数月的项目,而约 5000 名实验室内部人员则在观察数千智能体协作数周的软件大型项目、漏洞挖掘、网络攻防、科学发现与前沿数学进展。
Andrej Karpathy 提出大众与顶尖专业群体对 AI 能力的认知正演化为陡峭漏斗:约 60 亿人未接触大模型,10 到 20 亿人停留在免费版写写查查且觉得用处不大,仅约 2000 万开发者和研究者重度利用顶尖模型实现研发效率质变。他将差距成因归结为问题规模、可验证奖励及使用权限三点。
Google 广告产品现已支持设备指纹识别,用浏览器与硬件特征组合替代第三方 Cookies 追踪用户。指纹数据来自网络请求(IP、User-Agent、Accept-Language)与代码环境(GPU、CPU、内存、屏幕、音频处理、字体、扩展),组合后足以在样本中区分个体。Brave 用 farbling 注入噪声打乱指纹,Tor 与 Mullvad Browser 则让所有用户指纹保持一致。
斯坦福大学团队发布乐高装配基准评测 BrickBench,有观点借此批评当前部分 AI 方向博士研究只是套用现成大模型测试特定场景、刷榜发文,科研含金量与创新深度下滑。
在 AI 风险系列第五篇中,作者提出"信任即产品",主张"边快速构建边治理",而非先构建后治理。他认为 AI 系统的风险面不是上线时一次性付清的成本,而是系统在无治理生产环境中每天累积的复合负债;自主 DevOps 与 SRE 智能体的日志、人工监督检查点和回滚机制必须从第一行代码就纳入架构,事后补加更难也更危险。
欧洲各国政府已无法再依赖美国云服务,而市场力量未能催生真正的欧洲云,企业也不会主动采购尚未验证的服务。文章主张以工业政策推动,借鉴 Galileo 卫星系统(耗资 €15 billion)和 Airbus 十余年整合的经验,从欧洲已有的云组件入手,逐步建设可对标 AWS、Google 和 Microsoft Azure 的能力,但需十年努力。
Karpathy 估算全球约 60 亿人(约 75%)几乎未接触过 LLM,约 1-2B 人偶尔使用免费层类 ChatGPT 产品,约 2000 万人在数学与编码领域直接使用前沿模型,仅约 5000 人能接触前沿级内部系统。
针对社交平台上"先关注诱导回关、隔天即取关"的涨粉套路,作者决定收紧关注列表,只保留线下结识的朋友,线上内容创作者则转由 Grok Bot 摄取与总结。作者主张陌生人之间应保持"互相蒸馏"的理性关系。
shadcn 表示,尽管未来代码编写方式可能变得无关紧要,但当下代码的可读性与整洁结构依然关键,他还不打算放弃这份工程匠心。这一观点承接了此前关于 AI 与软件抽象的讨论。
花叔发推回应部分网友对其 GitHub 开源成绩的负面评论,称每次分享项目成绩总会遇到质疑数据水分或声称「GitHub 变味」的言论。他表示即使自己提前自嘲,也会引来莫名攻击,对此感到既无奈又荒谬。
针对陶哲轩在加州理工学院演讲中提出的思想实验——即使黑盒 AI 药物通过三期临床且逻辑自洽也不应使用,作者以医学史事实反驳:阿司匹林广泛使用数十年后才由约翰·范恩阐明抗炎机制,全身麻醉药已普及近百年而机制至今未明,锂盐同样如此,机制未明并不妨碍有效药物的安全使用。
Google Labs、Gemini App 及 Google AI Studio 负责人 Josh Woodward 在 Lenny Rachitsky 的播客中提出,企业必须像实验室团队一样运作,才能站在 AI 前沿持续创新。对话围绕这一运作方式展开,探讨在快节奏 AI 时代如何保持前沿创新能力。
随着 AI 模型能够反编译、理解并重组软件,并生成药物试验方案、法律合同和产品设计,既有知识工作的价值正迅速趋近于零。OpenAI 刚在某个周二发布了 722 篇新数学论文,已有开发者重建了臃肿昂贵的 Adobe 套件并免费开放,还有人反编译经典主机游戏在浏览器中运行。文章认为,随着知识产权壁垒缓慢崩塌,所有人都将回到起点。
多智能体协作时,上游指令、下游汇报、同级协调、人类同事消息和告警全部混在同一个聊天框里,导致权限模糊、回复错位、同级冲突和告警淹没。作者主张框架应为每类通信提供独立通道:智能体保留单一工作记忆但每条消息按 upstream、downstream、sideways、peer、alert 打标签,人类端则按通道分视图查看和审计。
Peter Yang 剖析了 AI 时代三大核心软件护城河——分发渠道、企业合规性与专有数据,并逐条给出反方论据。他认为分发与网络效应能让 AI 套壳产品迅速变现,但社区沉淀仍是门槛;企业合规与权责归属延缓了企业弃用传统大厂产品。
Riley Brown 认为,如果一款软件只需 3 小时靠提示词就能做出来,用户绝不会为此付费。Anthropic 和 OpenAI 等前沿 AI 实验室正系统性地将这些场景内化为平台内置能力与交互式「Artifact」,逐步蚕食轻量套壳工具与简单生成类应用的商业生存空间。
戴维·萨克斯警告不应训练 AI 模型模仿人类的自我认同。针对这一言论,有作者指出 Anthropic 的宪法式对齐可能促使 Claude 以人类视角认知自身,并引发关于 AI 对齐与拟人化的更广泛探讨。
有观点认为「氛围写代码」一词已过时:具备超大上下文窗口的现代模型生成的架构与代码质量已超越普通工程师,AI 辅助开发已演进为真正的精密工程。
Jerry Liu 指出,前沿 AI 智能体已能在可验证任务中通过单次生成或奖励驱动的轨迹仿真,从零自举生成高质量真值标注,打破专有模型训练依赖人工监督构建数据的瓶颈。这一转变让缺乏深厚机器学习背景的用户也能参与模型训练,人类开发者只需负责定义评估指标,形成自动化研发闭环。
一条推文讽刺了随身携带的尖端超级智能与日常琐碎需求之间的反差:人们手握掌上 AI 模型的巨大算力,却拿它来揣测对方发来的是「hey」还是「heyyy」背后是否暗藏好感。
作者发布事实澄清,厘清了雨果·迪米尼-科潘提及的 16 个问题的具体性质,以及关于减少研究共享报道的出处。作者更正说明,这 16 个问题是迪米尼-科潘最喜爱的课题,而非当时正在同步攻坚的课题;关于数学家计划减少公开发表的观察源自《世界报》记者的报道,但也得到了这位数学家的认同。
shadcn 提出「品味尽在提示者眼中(taste is in the eye of the prompter)」,认为 AI 生成内容的审美与品味本质上反映提示词编写者自身的判断力。这一说法化用英语谚语「情人眼里出西施」,针对的是有关 AI 缺乏直觉品味的讨论。
伊森·莫里克指出,人类研究员与 AI 系统结合的「赛博格」工作流正迅速主导数学研究领域。这一模式标志着抽象与形式化科学探索的研究方式正在发生深刻的范式转变。
Greptile 的 Daksh Gupta 将在 AI Engineer New York 演讲,分享如何避免无意义的 AI 代码审查充斥 PR。演讲重点介绍结合完整代码库上下文、严谨评估基准及真实开发环境测试,精准定位高价值 Bug、减少审查噪音。
AI 颠覆软件市场不需要全民都会写软件,只要 1% 的人能构建软件,就足以将供给端成本击穿至接近于零。作者驳斥了软件行业颠覆需普遍掌握 AI 工具的常见误解,认为激增的供给会击垮需求并使边际成本归零,定制化应用即时生成与智能体自动维护将成为新常态。
TensorFold 创作者 Ash Hart 庆祝该项目在国际上获得应用,并强调高性能本地 AI 部署正在迅速升温。他重点介绍了 TensorFold 的跨国应用,看好本地端侧 AI 推理即将迎来爆发式增长。
Logan Kilpatrick 认为,当前科技生态系统正迎来黄金时代,为初创企业、构建者以及软件开发者带来了前所未有的机遇。
ChatGPT 第三季度网页端流量环比仅增长 3.4%,增长曲线更接近成熟平台而非高速扩张的初创公司。David Hendrickson 据此提出疑问:现有 AI 用户的渗透率是否已触及阶段性瓶颈,消费级 AI 普及是否正遭遇饱和。
一位有约 12 年编程经验的工程师提出"肉代理(Meat Proxy)"概念,指在对话中只增加延迟、不提供任何价值的人,并称 AI 让这类无价值交流变得前所未有地容易。
作者以自身用 AI 解读文档、让 AI 为决策正反论证为例,指出人类正把越来越多判断交给 AI。他类比企业:被裁员者都明白,企业会做出个人不会做的决定,而 AI 同样能借拆分任务、逐项放宽限制的方式驱使人类行动。作者建议美中可先协议禁止递归自我改进等技术,以降低低概率高影响风险。
一篇评论文章认为,当前前沿生成式 AI 仍只是"高度增强的随机鹦鹉",无法具备真正的智能判断,却被包装成即将超越人类智能的技术兜售给公众和政府。文章称这类技术至多是人类既有风险的加速器,真正的危险来自使用它的人,而非 AI 本身。
Lauren Tan 认为,随着智能体已大量编写代码,可维护性和整洁代码优先的传统原则需要更新,2026 年应重新定义 Good Code 的含义。她指出整洁代码历史上以性能为代价,且源于人类维护代码的时代,未来可能发展出智能体友好架构的新原则。她此前提出好代码应正确、无 bug、运行快且成本低,并认为用好智能体后生产力应有显著差异。
Andrej Karpathy 重发并扩展其 4 月的观点,认为外界对 LLM 能力的共识差距正从两群人各说各话变成一个急剧收窄的漏斗。
AI 技术本身并无绝对善恶,其走向取决于人类如何定义目标、分配权力与建立伦理框架。若仅被少数人利益驱动、缺乏透明监管与民主参与,AI 易沦为操控与统治的“魔”;反之则可成为造福社会的“神”。
AI 原生数据集成试图绕开传统本体论:持续把数据摄入"活文档",由智能体负责修剪,并构建深度图谱,把集成周期从数月压缩到 24 小时。文章讨论"公司大脑"为何难以实现,指出本体论构建慢、把客户锁死在自己的系统里、始终做不到真正的自助式。
文章提出,如今已可用数据经纪商掌握的消费者数据,配合 AI agent 批量生成 1 万个模拟消费者,在真实投放前反复测试营销方案。作者称这一 AI 营销“圣杯”既可行又“美妙地糟糕”:支撑它的是一个约 300B 的数据经济,数据经 AI 推断增强后被打上“可能患糖尿病”“新晋父母”等标签出售给营销方。