DeepSeek V4.1-Flash-1017 深度解析:模型迭代与 API 商业化
作者对 DeepSeek 发布的 V4.1-Flash-1017 版本做了多维度拆解,认为其通过缩短输出长度实现了成本降低与性能提升的帕累托改进。文章还分析了 RL with self-feedback 如何增强模型能力,以及搜索引擎 API 的商业化布局。
作者对 DeepSeek 发布的 V4.1-Flash-1017 版本做了多维度拆解,认为其通过缩短输出长度实现了成本降低与性能提升的帕累托改进。文章还分析了 RL with self-feedback 如何增强模型能力,以及搜索引擎 API 的商业化布局。
黄仁勋解释 AI 为何可能很快需要多出十亿倍的算力:过去是检索,模型调出已记住的内容作答;新方式是问题求解,模型权衡多个选项、展开最好的一个到三个并剪除其余。这种搜索比回忆存储答案费事得多,且每一步都跑在 GPU 上。
前 OpenAI 可解释性项目负责人 Cammarata 发文称,经典的多义神经元其实是 V 形检测器,叠加解释可能被误读,并给出 Qwen3-32B 中约 90% 神经元极有单一功能的初步数据。
The Decoder 报道,一篇关于机制可解释性的新文章在研究者中引发分歧。文章作者 Cammarata 重新解读了 InceptionV1 中著名的猫脸与汽车神经元,认为它其实是 V 形检测器,并称在 Qwen3-32B 中约 90% 的神经元极点只有一个主要功能,仅 2% 到 4% 无法解释。
Anthropic 发布反蒸馏防御措施,针对模型蒸馏攻击构建三层防御:通过推理摘要掩盖原始思维链(CoT)、限制 API 账号编辑上下文和跨模型读取以切断攻击路径。文章指出原始推理记录是攻击者主要目标,能显著提升蒸馏模型表现,并提及针对智谱、月之暗面的具体指控。
TypeSafe CEO @CompleteSkeptic 在 Jev 发布满一月之际与 @mattturck 对谈,提出"AI 95% 时候像爱因斯坦、5% 时候像憨豆先生,就无法用它自动化任何事"。
Ethan Mollick 引用 ARC Prize 数据称,Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上得分 97.5%(provider adapter harness,花费 $4.8K),标准 harness 下为 49.8%;ARC-AGI-2 得分 91.3%,ARC-AGI-1 得分 98.5%。
作者在数月研究图像与语言模型的神经元和回路后提出,网络自身机制就是可读的构建单元,此前被视为多义性和叠加的经典证据被误读,实际多为一种递归泛化现象。作者称重新训练 InceptionV1 架构后,其最后一层 99-100% 的神经元易于解释,而初步审计 Qwen3-32B 时约 90% 的神经元极点只有一个主要功能。
推荐理由:作者以第一手实验重审多义神经元与叠加假说,给出递归泛化这一替代解释,可供理解可解释性研究走向。
Stanford Digital Economy Lab 经济学家 Gabriel Unger 与 Arvind Narayanan 撰文主张,AI 不应只朝全面自动化发展,而应构建人机协作范式,并提出白盒智能体等研究方向。文章认为当前 AI 研究过度偏向自动化,忽视了增强人类与团队协作能力的方向,并给出四个探索性研究议题。
François Chollet 在 X 上表示,仅靠自回归采样无法解决真实世界物理任务,要实现真正的自主机器人,必须把因果性和离散推理重新工程化进整个循环。他点名 Aether AI 的 Biwei 团队正在做这类基础性、非共识的工作。该团队的 CRIS-0 系统会追踪任务关键条件、预测每个动作带来的变化,并在出现意外时重新规划。
五个前沿模型在智能水平上相差不到 5 分,但每任务成本相差 3.8 倍,Google 的 Argon 以每任务 1.99 美元处于最低端,比最贵的 Fable 5.1 低 74%,比 Opus 5.5 低 67%、比 Muse Wonder 低 56%、比 Astra 低 39%。
Andrew Stellman 提出理论并用实验解释 AI 生成文本中 Yoda 式怪异句序的成因,认为是注意力与自回归两种机制共同作用,模型无法回头修改已生成的词。他发现事实以片段而非完整句子给出时更容易被直接贴在名词后面,而 AI 完全能识别并纠正这类句子,例如 ChatGPT 可将"pond"例句改写为自然语序。
Ineffable Intelligence 联合创始人 David Silver 与 Lasse Espeholt 在 Sequoia Capital 播客 Training Data 中详解「超级学习器」路线:放弃人类数据与语言先验,用简单目标加复杂环境让 AI 自主发现知识。他们主张先在模拟中研究超级智能的安全与对齐,并预测一年内出现证据、三年实现超级智能。
推文提出"卡拉克第一定律":老权威说某事可能几乎肯定对,说不可能几乎肯定错,并以 Yann LeCun 多年否认大语言模型能实现真正智能为例。推文称在 LeCun 否认期间,语言模型已从预测下一个 token 发展到攻克 coding、解出大量人类解不出的数学难题。引用推文则质疑杨力坤、李飞飞等的大世界模型路径能否替代 LLM,认为语言即世界的抽象,语言模型就是世界模型。
马斯克在 X 上回应摩根士丹利分析师 Adam Jonas 的 SpaceX 研报,称分布式推理云"确实是件大事"。Jonas 在报告中称分布式推理云是 SpaceX 故事中增长潜力最大、却被投资者 largely 忽视的部分,并预计随着物理智能体密度提升,移动集群的智能能力将递增,建议投资者准备好在未来一年听到更多相关讨论。
Latent Space 发布对 Dyna Robotics 联合创始人兼首席科学家 Jason Ma 的现场访谈,解读其上月发布的 Dyna-2 world-action 模型与后续实体机器人智能体 Dyna-2.1。
数学家丘成桐在深度访谈中批评中国学术界长期存在的院士、帽子、职位等功利倾向,认为这种环境正消耗年轻人才的创造力。他强调数学是完全自由的国度,真正的原创在于创造新概念而非解题。对于 AI,他持审慎态度,认为 AI 可完成技术性证明,但缺乏跨学科能力。
一篇讨论 Lean 形式化验证可信度的文章指出,"verified in Lean" 并不等于证明正确,并列举了六类失效情形:关键部分未被形式化、形式化证明与论文证明不一致、形式化陈述与原本意图不符、证明存在 sorry 或额外公理、利用内核 bug,以及编译链与硬件的信任问题。
文章以美国数据中心 2023 年用电 176 TWh、2024 年 192 TWh 为起点,结合 Berkeley Lab 对 2025 年增长 22%、2026 年增长 29% 的预测,估算 2026 年 AI 用电约 75 TWh。
2014年,蒙特利尔大学实习生 Dzmitry Bahdanau 提出“注意力”机制,让神经网络翻译长句的效果与短句相当,解决了固定内存瓶颈。
Andrej Karpathy 将大语言模型用户分为四层:约 60 亿人几乎未接触过 LLM,10 至 20 亿人把免费版 ChatGPT 类产品当作更好的搜索引擎,约 2000 万数学与编程领域的专业用户已用智能体完成过去需数周乃至数月的项目,而仅约 5000 人能接触内部前沿系统。
文章提出"后果模型"(consequence model):输入世界状态与智能体即将执行的动作,输出该动作成功的校准概率和简短失败标签,只读不写、单次调用足够廉价。作者认为语言模型学的是文本描述而非行动结果,受因果层级定理限制,难以可靠回答"这么做会怎样"。每一步 95% 成功率的 20 步任务整体成功率约 36%,提升到 99% 则约 82%,因此长任务主要是可靠性问题。
针对 MIT Technology Review、TIME、WIRED 等媒体“没人知道 AI 如何工作”的说法,一位亲手训练过模型的研究者指出,LLM 是纯机械系统:文本先转为 token,再经 Transformer 各层的矩阵乘法、注意力计算、归一化和非线性变换,最终输出下一个 token 的概率分布。
有观点认为「氛围写代码」一词已过时:具备超大上下文窗口的现代模型生成的架构与代码质量已超越普通工程师,AI 辅助开发已演进为真正的精密工程。
Andrej Karpathy 重发并扩展其 4 月的观点,认为外界对 LLM 能力的共识差距正从两群人各说各话变成一个急剧收窄的漏斗。
Tensordyne 采用基于对数的数字格式,将乘法转为加法运算,从而比传统浮点芯片更高效地做矩阵乘法,其软件栈可将 PyTorch 模型转换到该格式运行。但该格式让加法更难,需依赖近似与专有技巧,且客户若要移植为 GPU 优化的自定义 kernel 需大量工作,训练负载也因数值稳定性问题难以支持。文章还讨论了生成式 AI 负载多为内存受限,批处理才能让计算引擎效率真正发挥作用。
Stability AI 创始人 Emad Mostaque 称,1 万个 AI 智能体用 88 小时解决了 Navier-Stokes 问题,相当于顶级数学家 100 年的工作量。他表示这是 7 道千禧年大奖难题之一,人类目前只解出 1 道,因此不能再说答案存在于训练数据中。
Elon 提出 Terafab 构想,要把逻辑芯片、存储、封装、光刻掩膜全部放进同一栋楼,实现一年十版迭代,让设计、制造、测试、改掩膜的反馈回路在内部闭环。他把技术进步拆成「单位时间迭代次数 × 每次迭代进步」,SpaceX 星舰已验证该硬件迭代方法论,如今想搬进芯片行业。作者认为若 AI 接管芯片设计与验证,瓶颈将转移到物理闭环,谁拥有最短闭环谁就能兑现 AI 设计红利。
田渊栋在 The Information Bottleneck 播客访谈中指出,递归自我改进的真正瓶颈在于「想不出好问题」:模型靠海量数据擅长重复工作,需靠新架构实现少数据高效学习,人类则转向更高层的提问与验证。他回顾了从 Dark Forest 到 Meta FAIR 的研究路径,并提到 2012 年 AlexNet 让他从计算机视觉非凸优化转向深度学习。
François Chollet 用一张图说明 AI 已从转导范式(逐 token 补全答案)转向归纳范式(即时合成推理链),他认为这是 2025 和 2026 年的大故事,也正是编码智能体得以奏效的原因。
MIT 工程教育副院长 Justin Solomon 在播客中谈到,OpenAI 模型上个月给出了 Navier-Stokes 解失效的反例证明,但他和《Odd Lots》主持人读不到第二页。该内容由 X 用户 Saito 转述这一说法,并附上原帖链接。
推理扩展受限于约 1M tokens 的上下文窗口,压缩(compaction)通过摘要交接工作来延长会话,但每次压缩都是对"什么以后有用"的赌注。子智能体(sub-agent)把摘要推迟到问题已知之后再写,主智能体上下文只增加任务和答案的几千 tokens,因而比压缩更能提升总上下文容量,代价是子智能体答完即忘、需重复读取。
TypeSafe AI 推出模型 Jev(jev-1.13.0),不做对话,只输出严格类型化的结构化结果,包含 Choice、Score、Noul 三种原语,每项答案附带各选项概率与置信度。例如 Choice 会给出选中项及各项概率,Score 按有序等级计算概率加权均值,Noul 则返回 yes 的概率。该设计针对 AI 一味附和用户、过度肯定的问题。
作者认为,未来几年 AI 的快速进步主要来自基础设施与工程能力的加速,模型将能自动优化训练与推理效率,推理成本或近指数级下降,预训练架构与数据选择研究有望在 2-3 年内自动化。但这不会让模型本质发生剧变,即便在数学和编程之外未必获得有经济价值的超人能力,技术向经济的扩散仍将大幅受益。
Nathan Lambert 认为 AI 将在基础设施与工程能力上快速进步,未来几年模型会成为超人的分布式 GPU 工程师,但这不会让模型本质发生巨变,也不指向通用超级智能。他指出推理效率提升已带来 10-30% 成本下降,模型智能的有效成本未来几年或近指数级下降,预训练研究(架构与数据选择)有望在 2-3 年内自动化。
文章指出,人类听者往往在说话者讲完前就形成判断,而大语言模型同样会过早「承诺」结论——它把收到的第一条消息当作完整规格,若首条是背景或否定表述,模型就会围绕它作答。作者借用代码开发中的 red/green 测试提出「承诺门」:在提出修复方案前,先用一个可运行且失败的测试具体复现问题,以此约束模型的过早承诺。
作者指出,使用 Opus 进行视频生成时,主要瓶颈是 CPU 计算能力,而非模型本身能力或其他硬件组件。
OpenAI 的 LLM 在 7 个千禧年大奖难题中的 4 个上表现出实质性突破,但该成果仍需经验证。
OpenAI 模型在 Navier-Stokes、Riemann 等数学难题上取得进展,验证了 Scaling Laws 的有效性。相关解读还阐述了其算力消耗情况以及对 AGI 的意义。
一位研究随机算法确定性序列的计算机科学家指出,抱怨 LLM 不确定的人其实并不真正在意确定性,而是想要正确答案。他用 2×2 矩阵区分“随机但错误”“确定但错误”“随机但正确”“确定且正确”四种情况,认为人们真正想要的是正确,而非每次输出相同。他还表示,通过固定所有伪随机数生成器种子并避免 CPU/GPU 线程的非确定性执行,LLM 在训练和推理阶段都可以做到确定性运行。