跳到正文
10月17日周六
  1. RadarAI22

    黄仁勋:AI 算力需求或增十亿倍

    黄仁勋解释 AI 为何可能很快需要多出十亿倍的算力:过去是检索,模型调出已记住的内容作答;新方式是问题求解,模型权衡多个选项、展开最好的一个到三个并剪除其余。这种搜索比回忆存储答案费事得多,且每一步都跑在 GPU 上。

10月16日周五
  1. RadarAI50

    Anthropic 新一代反蒸馏防御体系拆解

    Anthropic 发布反蒸馏防御措施,针对模型蒸馏攻击构建三层防御:通过推理摘要掩盖原始思维链(CoT)、限制 API 账号编辑上下文和跨模型读取以切断攻击路径。文章指出原始推理记录是攻击者主要目标,能显著提升蒸馏模型表现,并提及针对智谱、月之暗面的具体指控。

  2. Hacker News80

    研究称神经网络本身是干净的,叠加假说被误读

    作者在数月研究图像与语言模型的神经元和回路后提出,网络自身机制就是可读的构建单元,此前被视为多义性和叠加的经典证据被误读,实际多为一种递归泛化现象。作者称重新训练 InceptionV1 架构后,其最后一层 99-100% 的神经元易于解释,而初步审计 Qwen3-32B 时约 90% 的神经元极点只有一个主要功能。

    推荐理由:作者以第一手实验重审多义神经元与叠加假说,给出递归泛化这一替代解释,可供理解可解释性研究走向。

10月15日周四
  1. RadarAI34

    Chollet 称自主机器人需工程化因果推理,Aether AI 的 CRIS-0 正做此探索

    François Chollet 在 X 上表示,仅靠自回归采样无法解决真实世界物理任务,要实现真正的自主机器人,必须把因果性和离散推理重新工程化进整个循环。他点名 Aether AI 的 Biwei 团队正在做这类基础性、非共识的工作。该团队的 CRIS-0 系统会追踪任务关键条件、预测每个动作带来的变化,并在出现意外时重新规划。

10月14日周三
  1. RadarAI36

    Andrew Stellman 分析 AI 为何写出 Yoda 式倒装句

    Andrew Stellman 提出理论并用实验解释 AI 生成文本中 Yoda 式怪异句序的成因,认为是注意力与自回归两种机制共同作用,模型无法回头修改已生成的词。他发现事实以片段而非完整句子给出时更容易被直接贴在名词后面,而 AI 完全能识别并纠正这类句子,例如 ChatGPT 可将"pond"例句改写为自然语序。

  2. RadarAI38

    AlphaGo Zero:David Silver 详解 AI 如何摆脱人类数据、用强化学习自主发现知识

    Ineffable Intelligence 联合创始人 David Silver 与 Lasse Espeholt 在 Sequoia Capital 播客 Training Data 中详解「超级学习器」路线:放弃人类数据与语言先验,用简单目标加复杂环境让 AI 自主发现知识。他们主张先在模拟中研究超级智能的安全与对齐,并预测一年内出现证据、三年实现超级智能。

  3. RadarAI22

    卡拉克第一定律与 LeCun 唱衰大语言模型

    推文提出"卡拉克第一定律":老权威说某事可能几乎肯定对,说不可能几乎肯定错,并以 Yann LeCun 多年否认大语言模型能实现真正智能为例。推文称在 LeCun 否认期间,语言模型已从预测下一个 token 发展到攻克 coding、解出大量人类解不出的数学难题。引用推文则质疑杨力坤、李飞飞等的大世界模型路径能否替代 LLM,认为语言即世界的抽象,语言模型就是世界模型。

  4. RadarAI22

    马斯克称分布式推理云是大事

    马斯克在 X 上回应摩根士丹利分析师 Adam Jonas 的 SpaceX 研报,称分布式推理云"确实是件大事"。Jonas 在报告中称分布式推理云是 SpaceX 故事中增长潜力最大、却被投资者 largely 忽视的部分,并预计随着物理智能体密度提升,移动集群的智能能力将递增,建议投资者准备好在未来一年听到更多相关讨论。

10月13日周二
10月12日周一
  1. Hacker News38

    后果模型:让 AI 预判行动结果的缺失一环

    文章提出"后果模型"(consequence model):输入世界状态与智能体即将执行的动作,输出该动作成功的校准概率和简短失败标签,只读不写、单次调用足够廉价。作者认为语言模型学的是文本描述而非行动结果,受因果层级定理限制,难以可靠回答"这么做会怎样"。每一步 95% 成功率的 20 步任务整体成功率约 36%,提升到 99% 则约 82%,因此长任务主要是可靠性问题。

  2. Hacker News22

    为什么说“没人理解 LLM 如何工作”是错的

    针对 MIT Technology Review、TIME、WIRED 等媒体“没人知道 AI 如何工作”的说法,一位亲手训练过模型的研究者指出,LLM 是纯机械系统:文本先转为 token,再经 Transformer 各层的矩阵乘法、注意力计算、归一化和非线性变换,最终输出下一个 token 的概率分布。

10月11日周日
  1. Hacker News34

    Tensordyne 如何用对数数字格式提升 AI 计算效率

    Tensordyne 采用基于对数的数字格式,将乘法转为加法运算,从而比传统浮点芯片更高效地做矩阵乘法,其软件栈可将 PyTorch 模型转换到该格式运行。但该格式让加法更难,需依赖近似与专有技巧,且客户若要移植为 GPU 优化的自定义 kernel 需大量工作,训练负载也因数值稳定性问题难以支持。文章还讨论了生成式 AI 负载多为内存受限,批处理才能让计算引擎效率真正发挥作用。

  2. RadarAI22

    Elon 想用 Terafab 把芯片迭代压到一年十版

    Elon 提出 Terafab 构想,要把逻辑芯片、存储、封装、光刻掩膜全部放进同一栋楼,实现一年十版迭代,让设计、制造、测试、改掩膜的反馈回路在内部闭环。他把技术进步拆成「单位时间迭代次数 × 每次迭代进步」,SpaceX 星舰已验证该硬件迭代方法论,如今想搬进芯片行业。作者认为若 AI 接管芯片设计与验证,瓶颈将转移到物理闭环,谁拥有最短闭环谁就能兑现 AI 设计红利。

  3. RadarAI38

    田渊栋剖析递归自我改进:把重复研究交给 AI,人去找新方向

    田渊栋在 The Information Bottleneck 播客访谈中指出,递归自我改进的真正瓶颈在于「想不出好问题」:模型靠海量数据擅长重复工作,需靠新架构实现少数据高效学习,人类则转向更高层的提问与验证。他回顾了从 Dark Forest 到 Meta FAIR 的研究路径,并提到 2012 年 AlexNet 让他从计算机视觉非凸优化转向深度学习。

10月10日周六
  1. Hacker News38

    为什么推理扩展的终点是智能体集群:从上下文压缩到多智能体系统

    推理扩展受限于约 1M tokens 的上下文窗口,压缩(compaction)通过摘要交接工作来延长会话,但每次压缩都是对"什么以后有用"的赌注。子智能体(sub-agent)把摘要推迟到问题已知之后再写,主智能体上下文只增加任务和答案的几千 tokens,因而比压缩更能提升总上下文容量,代价是子智能体答完即忘、需重复读取。

  2. Hacker News36

    Jev 与模糊性的回归:TypeSafe AI 推出只输出概率与置信度的模型

    TypeSafe AI 推出模型 Jev(jev-1.13.0),不做对话,只输出严格类型化的结构化结果,包含 Choice、Score、Noul 三种原语,每项答案附带各选项概率与置信度。例如 Choice 会给出选中项及各项概率,Score 按有序等级计算概率加权均值,Noul 则返回 yes 的概率。该设计针对 AI 一味附和用户、过度肯定的问题。

  3. Hacker News30

    我预计 AI 会快速进步,但不会走向通用超级智能

    作者认为,未来几年 AI 的快速进步主要来自基础设施与工程能力的加速,模型将能自动优化训练与推理效率,推理成本或近指数级下降,预训练架构与数据选择研究有望在 2-3 年内自动化。但这不会让模型本质发生剧变,即便在数学和编程之外未必获得有经济价值的超人能力,技术向经济的扩散仍将大幅受益。

  4. RadarAI40

    Nathan Lambert:AI 将快速进步,但不会走向通用超级智能

    Nathan Lambert 认为 AI 将在基础设施与工程能力上快速进步,未来几年模型会成为超人的分布式 GPU 工程师,但这不会让模型本质发生巨变,也不指向通用超级智能。他指出推理效率提升已带来 10-30% 成本下降,模型智能的有效成本未来几年或近指数级下降,预训练研究(架构与数据选择)有望在 2-3 年内自动化。

10月9日周五
  1. Hacker News23

    为什么 LLM 会「听」得太快:过早下结论的代价与解法

    文章指出,人类听者往往在说话者讲完前就形成判断,而大语言模型同样会过早「承诺」结论——它把收到的第一条消息当作完整规格,若首条是背景或否定表述,模型就会围绕它作答。作者借用代码开发中的 red/green 测试提出「承诺门」:在提出修复方案前,先用一个可运行且失败的测试具体复现问题,以此约束模型的过早承诺。

  2. Hacker News12

    为什么“AI 确定性”之争让我恼火

    一位研究随机算法确定性序列的计算机科学家指出,抱怨 LLM 不确定的人其实并不真正在意确定性,而是想要正确答案。他用 2×2 矩阵区分“随机但错误”“确定但错误”“随机但正确”“确定且正确”四种情况,认为人们真正想要的是正确,而非每次输出相同。他还表示,通过固定所有伪随机数生成器种子并避免 CPU/GPU 线程的非确定性执行,LLM 在训练和推理阶段都可以做到确定性运行。