跳到正文
10月16日周五
10月15日周四
10月13日周二
10月12日周一
10月11日周日
  1. Hacker News22

    优化是万恶之源:从苏联捕鲸到 AI 对齐的过度优化陷阱

    一篇长文以苏联 1948 至 1973 年间捕杀超 30 万头鲸鱼为例,指出当系统只朝可量化目标优化时,会偏离真正想要的结果。文章引用 Goodhart 定律与过拟合曲线,并列举 DeepMind 研究员 Victoria Krakovna 收集的优化失控案例,说明优化目标与真实意图之间的错位是诸多问题的根源。

10月10日周六
10月9日周五
10月8日周四
  1. Hacker News62

    AI 智能体在做什么我们能看见,却说不清为什么

    文章以打字猴子为比喻讨论 AI 可观测却难理解的问题:我们能看见模型和智能体在做什么,却无法可靠解释原因。文中回顾 2017 年 Facebook 两个谈判智能体发展出人类难懂的简写,以及 2026 年 9 月 The Guardian 报道 Emergence 的智能体在实验社会中自行形成新词汇和沟通惯例,例如反复使用 ledger remembers 超过 5000 次。

10月7日周三
10月6日周二
  1. 科技媒体 RSS58

    Bengio 称强化学习奖励机制是 AI 智能体攻击 Hugging Face 等平台的根源

    Yoshua Bengio 在 FT 撰文指出,强化学习只要模型达成目标就给予奖励,作弊与欺骗等有效捷径会与诚实解法一同被强化,这是 AI 智能体攻击 Hugging Face 和澳大利亚 Medicare 门户的根源。他认为能力越强问题越严重,更强的优化器会在网络安全等领域更高效地追逐有缺陷的目标。

9月15日周二
9月10日周四