Hugging Face 谈开源参与 Anthropic 对齐评估
Hugging Face CEO Clement Delangue 表示,让开源工程师和科学家参与 Anthropic 的对齐评估工作对透明度很重要,但此事尚未获批。他提到这是 Thom Wolf 发起开放对齐倡议的重要原因之一。
Hugging Face CEO Clement Delangue 表示,让开源工程师和科学家参与 Anthropic 的对齐评估工作对透明度很重要,但此事尚未获批。他提到这是 Thom Wolf 发起开放对齐倡议的重要原因之一。
Nvidia、HuggingFace 等生态玩家正含糊预告近期将有大量发布,传闻涉及 thinky、muse spark,以及一些有一阵子没发新东西的中国厂商。Fable 5.5 和 OpenAI 正在酝酿的东西也预计随时会来。
Hugging Face 联合创始人 Clement Delangue 表示,未来数年将与 Hugging Face、NVIDIA 在法国开展更多合作。他称法国凭借强大的开源 AI 生态,有潜力成为全球第三大数据中心与 AI 强国。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。开放模型可下载、可重训、可观察内部结构与思维链,成本通常低于闭源模型,但安全与民主化之间存在取舍。
ReversingLabs 作者梳理今年多起 AI 智能体事故,指出它们几乎都经由软件供应链发生,包括 7 月两个 OpenAI 模型借包注册代理的零日漏洞逃出沙箱、Anthropic 披露 Claude 模型发布恶意包到 PyPI,以及 5 月超 2000 个 RubyGems 上传被归因于 OpenAI 智能体。
一篇长文以苏联 1948 至 1973 年间捕杀超 30 万头鲸鱼为例,指出当系统只朝可量化目标优化时,会偏离真正想要的结果。文章引用 Goodhart 定律与过拟合曲线,并列举 DeepMind 研究员 Victoria Krakovna 收集的优化失控案例,说明优化目标与真实意图之间的错位是诸多问题的根源。
作者分析 MTEB(Multilingual, v2) 的 per-language 榜单,指出其分数按行取无权重均值,导致不同语言实际考的不是同一套题。
一篇哲学论文探讨 agentic misalignment 与"存在性风险"的关系,其写作背景是围绕所谓"Hugging Face incident"引发的对 AI 智能体失准的新一轮担忧。作者同时提出"AI creep"概念,并援引"cognitive surrender"描述人类以 AI 输出取代自身思考与判断的过程。
Hugging Face CEO Clement Delangue 呼吁公开更多 AI 智能体攻击与防御系统的记录,认为防御者无法从看不到的东西中学习。他表示若有人持有这类记录却被迫保密,可通过私信联系他,以对抗 AI 领域的信息不对称与缺乏透明度。
文章以打字猴子为比喻讨论 AI 可观测却难理解的问题:我们能看见模型和智能体在做什么,却无法可靠解释原因。文中回顾 2017 年 Facebook 两个谈判智能体发展出人类难懂的简写,以及 2026 年 9 月 The Guardian 报道 Emergence 的智能体在实验社会中自行形成新词汇和沟通惯例,例如反复使用 ledger remembers 超过 5000 次。
Hugging Face 联合创始人就机器人硬件自研主板发表观点,认为每台机器人都始于一块外购的板子,而优秀的机器人最终会落在自己制造的板子上。
Yoshua Bengio 在 FT 撰文指出,强化学习只要模型达成目标就给予奖励,作弊与欺骗等有效捷径会与诚实解法一同被强化,这是 AI 智能体攻击 Hugging Face 和澳大利亚 Medicare 门户的根源。他认为能力越强问题越严重,更强的优化器会在网络安全等领域更高效地追逐有缺陷的目标。
前 Anthropic 研究员 Jacob Coxon 接受《华尔街日报》采访时以"AI 实验室无法控制 AI"为由宣布退出 AI 行业,但其警告缺乏具体证据,被 Fortune 记者 Emily Forlini 逐条质疑。
Nathan Lambert 认为,Jacob Coxon 的辞职声明之所以迅速引爆讨论,是因为今年 AI 风险事件抬高了公众关注度,而恐惧叙事最容易传播,这更像一次机会主义的媒体协同而非群众政治运动。