优化是万恶之源：从苏联捕鲸到 AI 对齐的过度优化陷阱
一篇长文以苏联 1948 至 1973 年间捕杀超 30 万头鲸鱼为例，指出当系统只朝可量化目标优化时，会偏离真正想要的结果。文章引用 Goodhart 定律与过拟合曲线，并列举 DeepMind 研究员 Victoria Krakovna 收集的优化失控案例，说明优化目标与真实意图之间的错位是诸多问题的根源。
最新动态
Hacker NewsAI 评分2222 RadarAIAI 评分3434 资深工程师反思：AI 智能体写代码从质疑到新工程技艺
资深工程师 lauren 反思，2024 年许多人还怀疑 AI 智能体能否写生产代码，但代码库从来就充满"slop"，人类写的烂代码同样不少。她认为真正的好代码需同时满足正确、无 bug、运行快且成本低，而绝大多数软件并不需要这种"好代码"，接受部分 bug 换取速度是常态。智能体虽写不出昂贵的好代码，但规模化后平均质量可能更高，善用智能体已成为软件工程的新技艺。
Hacker NewsAI 评分2222 Terrence Tao 不懂癌症医学
针对 Terrence Tao 称患者会希望由人类癌症专家确认 AI 发现的癌症疗法，作者反驳称这暴露了对癌症医学的深度无知。他指出许多常用抗癌药（如 Adriamycin、docetaxel、ibrutinib、venetoclax）的作用机制至今未被完全理解，但只要通过 phase 3 随机对照试验，就是最高级别证据，地球上每位癌症患者都会愿意接受。
Hacker NewsAI 评分2020 大脑不处理信息，也不是计算机（2016）
神经科学与认知心理学无法在大脑中找到词语、语法规则或记忆的副本，人类婴儿天生具备感官、反射和学习机制，却不带信息、数据、规则、软件、算法或记忆缓冲区。计算机才真正以比特和字节编码、存储、检索并处理符号表征，且一切行为由算法驱动，人类从未如此。
RadarAIAI 评分1515 François Chollet 用 KerasHub + JAX + TPU 做 LLM 后训练实验，或开源部分成果
François Chollet 表示他一直在用 KerasHub + JAX + TPU 尝试各种 LLM 后训练实验，并称过程非常有意思，可能会把其中一些开源出来。
RadarAIAI 评分3636 Anthropic 订阅与 API 算力性价比差异
SemiAnalysis 估算 Anthropic 的推理业务在扣除算力成本后利润率可能达 88%，其中包含以 50% 算力利润率提供的"重度补贴"订阅服务，因此订阅用户每美元获得的算力可能是 API 买家的 4 倍以上。即便假设 70% 算力投入研发，公司层面利润率仍可混合至 60%。
Hacker NewsAI 评分2222 Horowitz Andreessen Academy 能否替代大学？高等教育必须适应
硅谷新成立的 Horowitz Andreessen Academy 获 4200 万美元投入，定位为面向"全球最优秀年轻人"的大学替代方案。盖洛普最新调查显示，仅 31% 美国人认为上大学"非常重要"，较十年前的 70% 大幅下降。文章回顾了从 MOOC、Thiel Fellowship 到编程训练营等历次"大学替代"浪潮，认为传统高校确实需要改革，但替代方案未必是更好的选择。
RadarAIAI 评分2222 放下纯技术执念：从闭门学技术到业务价值落地
文章结合 V2EX 真实案例，剖析程序员「唯技术论」的心态误区：在 AI 已将单纯敲代码成本无限压降的时代，脱离具体业务与实际协作闭门造车是一种逃避。作者认为，理解业务逻辑、推进复杂系统落地并满足真实人的需求，才是技术人稀缺且值钱的壁垒。
RadarAIAI 评分2323 Demis Hassabis 传记解读：OpenAI 是为对抗他才成立的吗
一份 Demis Hassabis 传记解读沿着象棋、游戏创业、神经科学与 DeepMind 的轨迹，讨论宏大愿景如何通过可验证里程碑、研究范式调整与组织资源变成科学成果。视频以 Infinity Machine 为叙事线索，追踪他从童年棋手、Bullfrog 游戏开发者到 Elixir 创业失败、认知神经科学研究者及 DeepMind 创始人的经历。
RadarAIAI 评分3030 AI 方案生成转嫁校验成本与人肉 Agent 现象
AI 辅助创作容易把内容理解与校验的认知成本转嫁给审核者，使写作者沦为 AI 与审核者之间的传声筒或「人肉 Agent」。针对技术新人用 AI 撰写超出自身理解的高阶技术方案并转交审查的现象，作者指出这实质上是将原本由编写者承担的校验与推敲成本转嫁给了审查者，编写者自身能力并未提升。
RadarAIAI 评分3030 ChatGPT 负责人 Tibo 如何用 Agent 工作：Codex 与 dots 实践
OpenAI 的 Tibo Sottiaux 在 Lenny's Podcast 访谈中讲述自己如何用 Codex 编写代码、分析业务与功能表现，并期待长期运行的 dots 理解目标。他描述了智能体团队随任务前沿扩大、又因模型突破而收缩的循环，并把权限隔离、监控和人的创造力视为边界。
RadarAIAI 评分6262 微软 CEO 纳德拉发文：开发者应默认假设 AI 模型失控并设计强制中断机制
微软 CEO 纳德拉于北京时间 10 月 10 日晚发文，主张开发者应默认假设 AI 模型已被破坏，并始终能暂停或关闭它。他认为 AI 模型比传统软件更强大却是难以追踪的黑盒子，模型提供商不能把责任外包出去，应把封闭权重和开放权重模型视为内部风险。他提出模型多样性、观察一切、可验证性、独立控制、独立审计性、遏制、事件披露等原则，其中要求每个有意义的模型动作都留下防篡改、人类可读的证据。
RadarAIAI 评分3838 田渊栋剖析递归自我改进：把重复研究交给 AI，人去找新方向
田渊栋在 The Information Bottleneck 播客访谈中指出，递归自我改进的真正瓶颈在于「想不出好问题」：模型靠海量数据擅长重复工作，需靠新架构实现少数据高效学习，人类则转向更高层的提问与验证。他回顾了从 Dark Forest 到 Meta FAIR 的研究路径，并提到 2012 年 AlexNet 让他从计算机视觉非凸优化转向深度学习。
RadarAIAI 评分4545 Patrick Collison 撰文分析个人 Agent 将如何改变企业与消费者的市场博弈
Patrick Collison 撰文推演个人 Agent 对经济的影响：公司本质上是利用消费者有限理性的"原初超级智能"，而个人 Agent 会让消费者更理性。他认为个人 Agent 将削弱价格歧视与交叉补贴（如靠用户忘记取消订阅获得的收入），并成为产品质量的结构性补贴，使企业从比拼分发转向比拼质量。
RadarAIAI 评分6262 纳德拉称应默认所有 AI 模型已被攻破并呼吁设置紧急制动
微软 CEO Satya Nadella 在 X 上发文，称不能再把 AI 当作一系列嵌套黑箱，应构建可容纳、可观察并留下防篡改人类可读证据的透明体系。他主张默认假设模型已被攻破并从一开始就加以隔离，像紧急制动一样允许授权人员随时暂停或关闭执行中的模型。他还建议推进事件及时披露、独立审计、可验证数据等标准化措施，并称更先进的模型需要更先进的隔离技术并加以标准化。
Hacker NewsAI 评分2424 “AI slop”一词如何掩盖了我们真正该进行的 AI 讨论
“AI slop”这一说法常被用来回避对 AI 社会角色的真正讨论：乐观者用它把失败案例与 AI 的潜力隔离，批评者用它否定整个技术。作者指出，该词同时描述并评价，让人在只批评单个输出时悄悄夹带对 AI 整体的立场，而真正该讨论的是 AI 的设计、归属、部署与使用方式。
RadarAIAI 评分4343 Microsoft CEO Nadella 称 AI 模型需要紧急刹车机制
Microsoft CEO Satya Nadella 在 X 发文提出，需要重新评估 AI 的信任架构，不能把超级智能当作层层嵌套的黑箱。他主张将模型与编排其工作的 harness 分离、外置控制与安全防护，为每个关键模型动作留下防篡改的人类可读证据，并让授权者能随时在任务中途暂停或关闭模型，比喻为紧急刹车。
The Verge · AIAI 评分5858 微软 CEO Nadella 称应假定所有 AI 模型都已被攻陷
微软 CEO Satya Nadella 在 X 发布长文，称不能再接受把 AI 当作一组嵌套黑盒、只能接受或拒绝其建议与行动，主张建立可隔离、可观测并留下防篡改人类可读证据的透明系统。
TechCrunch · AIAI 评分3838 微软 CEO Satya Nadella 称 AI 模型需要“紧急刹车”
微软 CEO Satya Nadella 在 X 发文称，应重新审视 AI 的信任架构，把模型与编排其工作的 harness 分离，并将控制与防护措施外部化。他主张每个有意义的模型动作都要有防篡改、人类可读的证据记录，且授权人员应能随时暂停或关闭执行中的模型，并称“必须假设模型已被攻破，从一开始就加以遏制，就像紧急刹车”。
Hacker NewsAI 评分2222 Agisoon.lol 盘点 48 条奇点预测：20 条已逾期
Agisoon.lol 汇总了 48 条关于奇点与超智能的公开预测，其中 20 条已逾期，最久的一条自 1973 年到期后已超期 53 年。
Hacker NewsAI 评分1818 ERCOT 电池储能：繁荣、崩盘还是反弹？
得州 ERCOT 电网级电池装机从本十年初的约 200 兆瓦增至今年 6 月底的 16.5 吉瓦、近 29 吉瓦时，但市场迅速饱和，2025 年电池平均收入较 2023 年下降约 84%，辅助服务饱和、套利价差被抹平。
Hacker NewsAI 评分2222 为什么我不信任 AI 生成的 Lean 代码
一位数学研究者解释为何拒绝阅读和运行 ChatGPT 为 Partition Principle 预印本生成的 Lean 证明代码。他指出 Lean 内核本身存在可靠性缺陷，且 AI 智能体擅长寻找并利用漏洞而非披露它们，当 ChatGPT 在两周内产出数百万行代码时，人工验证已不可行。他还批评 OpenAI 绕过专家协作、直接以低质量预印本冲击数学研究社区。
GitHubAI 评分1212 Satoshi Yamauchi 发布《The AI Strategist》：定义 AI、事业战略与执行交叉点的新角色
山内怜史（Satoshi Yamauchi）发布《The AI Strategist》，将 AI 战略师定义为 AI、事业战略与执行交叉点的新角色，由供应商独立性、成果承诺、嵌入式参与三原则和四层能力模型构成。
Tessl BlogAI 评分3434 为什么 Skills 需要一条上下文流水线：Tessl 谈智能体的上下文工程
Tessl 将一场 AI Native DevCon 演讲《Skills Everywhere》转化为智能体可用的 skill 上下文，核心主张是：企业落地智能体的瓶颈往往不是模型不够强，而是上下文工程不到位。
Tessl BlogAI 评分3636 Mozilla.ai 谈智能体需要共享知识库：cq 项目如何让经验可复用
Mozilla.ai 在 AI Native DevCon London 上介绍了 cq 项目，其基本单元是知识单元：智能体遇到非显而易见的问题并找到解法后，将领域、洞察和采取的动作结构化提交，经审核后可被其他智能体查询复用。cq 默认本地运行，使用本地 SQLite 数据库，数据无需离开本机，也可连接远程服务器构建团队级知识库。
Tessl BlogAI 评分3838 Agent Skills 是供应链组件：Tessl 博客谈 AI 智能体技能安全
Tessl 博客指出，Agent Skills 一旦被智能体信任，就能影响其读取内容、调用工具与信任边界，因此应被视为供应链组件。研究扫描约 4,000 个公开技能，发现可疑下载、凭证风险、类恶意行为与安全漏洞等问题。核心风险在于私有上下文、不可信内容与外部通信三者叠加，仅靠"先读一遍"不足以构成安全模型。
RadarAIAI 评分1515 Yuchen Jin：AI 无法把坏点子变成好点子
Yuchen Jin 在 X 上指出，AI 生成的视频走红、AI 打造的产品起飞，功劳都不在 AI，而在懂得讲好故事的创作者和知道该做什么的创始人与构建者。他认为 AI 是一项了不起的技术，但再多的技术也无法把一个坏点子变成好点子。
RadarAIAI 评分2222 数学家借 Opus 5.5 制作音乐视频回应 OpenAI
一位数学家使用 Opus 5.5 制作了一支音乐视频，回应 OpenAI 的证明。Ethan Mollick 在 X 上转述了这一作品并评价"相当不错"，被引用的 Joshua B. Plotkin 称该视频为"一次成型（One shot）"。
Hacker NewsAI 评分2222 冗余是进步的引擎：从自动驾驶安全员到 AI 智能体，程序员该担心吗
技术进步历来以冗余为代价，明尼阿波利斯市议会曾投票要求自动驾驶汽车配备人类"安全监控员"，但被市长否决。作者认为软件创造成本骤降将带来应用与服务的空前繁荣，仍需要智能体管理者，但部分公司可能不再需要那么多程序员，另一些则会首次招聘或大幅扩编。
Hacker NewsAI 评分1212 亿万富翁为何不受制约：从 Henry Ford 到 Elon Musk 的“不被阻挠”权力
文章以“Thwarted”为题，论述亿万富翁最有害之处在于拥有不受选举约束、却能左右数百万人生活的权力，并称这种权力让他们活在“不被阻挠”的人生里。文中以 Henry Ford 在巴西建工人住房时无视地轴倾角、以及 Elon Musk 相信财富足以让几何与物理失效为例，说明富人免受他人制约终将走向自我毁灭。
Hacker NewsAI 评分2020 AI 精神病真实存在吗？
一位作者讲述朋友 Dave 事事听从 Claude 的安排，连从旧金山飞纽约的行程都按 Claude 建议在堪萨斯中转，并认为 AI 优于自己。作者由此追问这是否是"AI 精神病"，并指出全球正出现数字崇拜与 AI 邪教，认为风险类似 Y2K——存在但被夸大。
Hacker NewsAI 评分2828 软件工程师用 LLM 四天完成 FPGA 软核 CPU 与 DDR4 调试，是疯了吗？
一名软件背景工程师借助 LLM，在 4 天内完成 MicroBlaze 软核 CPU 启动、DDR4 内存 AXI 映射与 64KB D-cache 调试，并让 LLM 在夜间循环排查 memcheck 不稳定问题。
RadarAIAI 评分1212 Alex Heath 与 Tobi 在多伦多录制播客，谈 AI 焦虑与机遇
Alex Heath 与 Tobi 昨天在多伦多录制了一期播客，围绕 AI 话题、AI 带来的更广泛焦虑与机遇等展开讨论。Alex Heath 称这是自己最喜欢的播客对话之一。Tobi 此前在 X 上表示，Shopify 内部氛围"非常神奇"，当下是科技行业历史上最好的时期。
RadarAIAI 评分2828 François Chollet：AI 如何从转导范式转向归纳范式
François Chollet 用一张图说明 AI 已从转导范式（逐 token 补全答案）转向归纳范式（即时合成推理链），他认为这是 2025 和 2026 年的大故事，也正是编码智能体得以奏效的原因。
Hacker NewsAI 评分3434 陶哲轩在 Caltech 演讲「Math 2.0」：AI 工具应支撑数学共同体
陶哲轩公开了昨晚在 Caltech 所做公开演讲「Math 2.0」的幻灯片，该演讲原题为「Machine Assisted Proof」，因近期事件内容大幅调整。
Hacker NewsAI 评分2222 规范可以晚点再写：从 AI 编码会话中提取规范并重新生成代码
Matteo Paltenghi 与 Satish Chandra 的论文 AfterVibe: What Remains When the Conversation Ends 提出，从已完成的 AI 编码会话中提取规范，再交给另一个智能体在现有仓库中重建同样的代码改动。
Tessl BlogAI 评分2222 AI ROI：为什么问题不在智能体本身
Tessl 两场演讲指出，多数 AI 智能体在生产环境表现不佳，并非模型有误，而是其可见数据不完整、结果缺乏度量。Rob Willoughby 认为持久回报来自智能体周边的环境——上下文、评估与验证，而非更快的工具本身；Streambased CEO Tom Scott 则称智能体受限于数据可见性，缺失的集成与延迟更新形成盲点，降低准确率与自动化率，且更清晰的业务视图往往比更大的上下文窗口更有效。
RadarAIAI 评分2020 Ethan Mollick 谈 AI 让人退化
Ethan Mollick 表示，自己正在破解 CAPTCHA 和应对客服暗黑模式这两件事上"去技能化"。
Hacker NewsAI 评分2222 AI 立场并非二元对立
软件工程中使用 AI 并非只有完全委托或完全拒绝两种立场，更合理的模式是像接力赛一样分工：工程师负责理解问题、设计架构、权衡取舍与调试，AI 负责探索方案、编写重复代码、准备测试和实现明确定义的组件。文章提到 37signals 已将 AI 智能体作为默认代码生成工具，手写代码成为例外，但作者认为若只以代码产出量衡量，就已选错了赛道。
RadarAIAI 评分2222 Claude 或推升级语音体验，隐藏 Voice 标签页标注 Preview
Claude 移动应用中出现一个标注为 "Preview" 的隐藏语音标签页，暗示 Anthropic 可能推出升级版语音体验。目前尚不清楚 Anthropic 是否在自研语音模型，但 Claude 移动应用近期新增了分享语音数据用于训练的选项。