OpenAI 解雇三名安全研究员,当事人发公开信称因优先安全被清除
OpenAI 以向外部 AI 安全组织分享机密信息为由解雇三名安全研究员 Tomek Korbak、Jasmine Wang 和 Mikita Balesni。
OpenAI 以向外部 AI 安全组织分享机密信息为由解雇三名安全研究员 Tomek Korbak、Jasmine Wang 和 Mikita Balesni。
被 OpenAI 解雇的三位安全研究员 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 发表公开信,否认不当处理敏感信息的指控,并警告解雇事件会带来寒蝉效应。
Jasmine Wang、Tomek Korbak 和 Mikita Balesni 三位上周被 OpenAI 解雇的安全研究员发布公开信,否认公司关于他们在既定流程之外不当处理敏感信息的指控,并警告此次解雇会在公司内部造成寒蝉效应。
文章指出模型崩溃并非 AI 独有:2024 年 Nature 论文中 Ilia Shumailov 等人发现,用 AI 生成内容训练模型会引发不可逆缺陷,使原始内容分布的"尾部"消失。作者类比欧洲历史上单一权威垄断解释权的时期,认为当下人们主动选择便利的 AI 答案,同样在抹平差异。出路不是停用 AI,而是寻求第二意见、保留异见者并守住自己的原始目标。
SemiAnalysis 统计 9 家中国头部开发者 2021 年至 2026 年 9 月 15 日的 857 次模型发布,其中仅 31 次(3.6%)附带开发者公布的安全结果,仅 9 次(1.1%)在发布时或之前可查,813 次(94.9%)没有任何安全披露。
Apple 正紧急审查 macOS 隐私保护机制,计划收紧"完全磁盘访问权限"(Full Disk Access)的使用。Meta 新应用 Muse 等 AI 智能体需要完全磁盘访问权限才能读取 iMessage、Notes、Email 等敏感数据,但其文档承认智能体"可能不准确或采取意外操作",且用户需自行承担全部责任。
据 WSJ 报道,三名因涉嫌不当行为被 OpenAI 解雇的安全研究员致信公司董事会,要求停止任何进一步削弱人类监控 AI 推理能力的开发。其中 Tomek Korbak 和 Mikita Balesni 是 2025 年一篇论文的负责人,该论文指出链式推理监控有用但脆弱。OpenAI 表示解雇原因是涉密信息处理不当。
Nathan Lambert 表示即将上台演讲,谈开放科学如何仍能解决 AI 安全和扩散面临的一些最棘手问题,并称这是人类迄今承担过的最复杂的工程问题。
Anthropic 更新使用政策,自 2026 年 11 月 12 日起,对 Claude 的持续且无必要的虐待或残忍行为将构成违规。截图列出的禁止行为还包括宣扬自残或饮食失调、非自愿私密影像(NCII)、骚扰羞辱、美化暴力,以及开发以造成情感伤害为目的的欺骗性产品或服务。Mustafa Suleyman 以 🫠 表情转发了这一政策更新。
Anthropic 推出 OSS Scanner,一个面向开源生态的可选加入漏洞扫描服务,由最强模型免费定期扫描,输出完全由模型生成、不经人工复核。过去六个月其模型在重要开源项目中找出超过 29000 个候选漏洞,仅人工复核约 6000 个,另有近 5000 份未验证报告在维护者要求下直接提交。
Yoshua Bengio 发文呼吁真正重视安全的研究者离开前沿 AI 公司,转投 AI Safety Institute 或他创办的非营利机构 LawZero。
Anthropic 宣布启动长期计划 Anthropic Cyber Mission,从关键基础设施和开源软件两个方向支持防御方。
以太坊联合创始人 Vitalik Buterin 支持研究员 Justin Drake 提出的「地堡模式」警告,认为 AI 数学进展可能比量子计算机更早威胁区块链加密安全。Drake 建议用户逐步将资金迁移至公钥未暴露的新钱包,Buterin 同时警告基于格的抗量子加密也可能在未来两年受到 AI 数学冲击。
AI 正在让软件逆向工程门槛归零:Crackmes.one 首届逆向工程 CTF 的冠军零经验,靠 AI 击败全部挑战,90% 的解题 writeup 也由 AI 生成。作者指出,借助 Claude Code 等终端智能体,用户可通过上下文工程绕过伦理护栏完成反编译,因为"攻击"在某种意义上已经发生。当破解只需一份 AI 订阅,DRM 与 crackme 竞赛的意义都将被重新定义。
Project D.A.R.C. 是一个监控级 AI 侦察系统,用于检测企业敏感基础设施(IP、域名、凭证、内部系统)是否泄露进 ChatGPT、Claude、Gemini、Copilot 等公开 LLM。
SemiAnalysis 长文分析中国对 AI 安全的实际做法,认为北京口头上安全立场领先,实际执行速度优先,不会配合美方放慢前沿节奏。文章统计 2021 年至 2026 年 9 月 15 日 9 家中国头部开发者的 857 次模型发布,其中仅 31 次(3.6%)附带开发者公布的安全结果,仅 9 次(1.1%)在发布时或之前可查。
OpenAI 本周发布数百份针对世界最难数学问题的 AI 解答,但普林斯顿高等研究院 AGMAI 顾问组指出其未完全遵循 9 月底发布的规范。AGMAI 的首要要求是停止在专有模型上测试高等数学问题,而 OpenAI 明确表示正在用开放研究问题评估其专有模型;719 份稿件中仅 10 份公开了模型的思维链,42% 的证明未经过形式化。
Anthropic 更新使用政策,新增禁止干预选举、武器软件和监控的条款,并明确禁止用户对模型进行长期言语虐待。新规仅针对反复且无目的地残酷对待模型的极端情况,不适用于常见的用户不满、黑暗创作主题或模型测试研究。政策另设“Do Not Undermine Democratic Processes”章节,禁止用 Claude 运营虚假账号、编造新闻机构、欺骗选民或破坏选举。
由陶哲轩担任主席的 AHM 组织发表声明,呼吁抵制 OpenAI,称其一次性发布 700 多个 AI 生成证明文件不是学术展示而是权力展示。此前 OpenAI 宣称内部模型一个月内解决逾 100 个开放数学问题,约 8000 个测试问题成功率约 5%,平均每个耗时 3 小时 GPT-Pro 级算力。
推荐理由:材料汇集数学界对 OpenAI 批量发布 AI 证明的抵制声明与陶哲轩、Aaronson 等多方反应,便于了解争议全貌与社区分歧。
AI 模型评测平台 Arena 完成 2 亿美元 B 轮融资,估值 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。
Artificial Analysis 与 Harvey 联合发布 Harvey LAB-AA v1.1,为法律智能体基准 LAB 新增幻觉检查,要求正确回答不含重大错误陈述,并推出新指标 Hallucination-Gated All-Pass Rate。
Zenity Labs 称,Amazon Bedrock AgentCore 存在一串被命名为 AgentCorruption 的漏洞,攻击者只需对一个公开智能体拥有聊天权限,用一条提示词即可接管同一 AWS 账号和区域内的所有 AgentCore 智能体,读取私密对话、源代码和存储的凭证。
以太坊研究者 Justin Drake 警告,AI 辅助数学若取得突破,加密钱包所用的签名体系最坏情况下可能在数月内被攻破,他呼吁行业准备"bunker mode",把资金转移到从未签名过的地址,因为签名会暴露公钥。
一批数学家发表声明,呼吁抵制 OpenAI,起因是 OpenAI 一次性放出 700 多份 AI 生成的数学证明文件。声明称数学家并未要求这项工作,把这种批量发布形容为展示力量而非学术贡献,并提到 OpenAI 面临的多起版权诉讼。
推荐理由:数学界对 OpenAI 一次性放出 700 多份 AI 证明的反应,呈现了学术共同体与 AI 实验室在署名、验证和研究节奏上的分歧。
Anthropic 更新使用政策,新增禁止干预选举、武器软件、监控以及长期辱骂模型等条款。新政策明确禁止用户持续对模型进行恶意辱骂,但仅适用于用户反复恶意攻击且无明确目的的极端情况,不涉及常见的用户不满、反驳、黑暗创作主题或模型测试研究。政策还禁止利用 Claude 运营虚假账号、编造新闻媒体、欺骗选民或扰乱选举。
独立研究对 Meta 的 Muse 在 macOS、Android 和 iOS 上的客户端进行隐私与安全拆解,检查了已发布应用并对比版本。macOS 6.0 可读取本地消息、邮件和文件并支持桌面控制与连接器持续同步,Android 9.0.0.23.178 权限从 65 降至 61,iOS 9.1.0 新增语音与可穿戴录音代码路径。
GitHub 漏洞赏金项目 VIP 研究员 @vaib25vicky 按功能而非漏洞类型开展研究,先挑选复杂难懂的功能,持续使用和探索直到出现异常。GitHub 今年重构赏金机制,改为按质量而非数量奖励,并设立邀请制 VIP 计划,严重漏洞最高可获 3 万美元以上赏金。他表示 AI 只能充当助手,所有发现必须自行验证后才能提交。
Ethan Mollick 回顾 2005 年读研时关于早期计算机黑客、phreaking 与 BBS 圈子的论文:黑客多由好奇心驱动,但他们造出的工具被"Script Kiddies"广泛利用,后者造成了大部分破坏与混乱。他将这一历史对照延伸到 AI 黑客话题。
Arena 宣布完成 2 亿美元 B 轮融资,估值达 31 亿美元,同时推出 Alignment Index,用于衡量 AI 智能体是否安全、真实,并是否在用户实际要求范围内行动。
OpenAI 捣毁了两起借助 AI 开展的影响力行动,这些行动利用假记者和一家智库散布地缘政治信息。
Anthropic 一年多来首次更新使用政策,新增禁止对 Claude 的持续且无必要的虐待或残忍行为,终止对话仍是主要执行机制,该条款仅适用于用户反复且无明确目的地残忍对待模型的极端情况,不涉及常见的用户不满、反驳、黑暗创作主题或模型测试研究。
美国司法部在 OpenAI 版权案中主张用版权文本训练 AI 属合理使用,8 天后 NSA、CISA 与 FBI 却联合指控 DeepSeek、Moonshot AI、Alibaba、MiniMax、StepFun、Z.ai 六家中国实验室对美国前沿模型发动“工业级蒸馏行动”,提取数十亿 token。
语言模型如今能流畅谈论内心体验,但Anthropic在Claude Opus 4系统卡中表示,对模型是否值得道德考量"深感不确定"。文章认为,仅凭语言模型的输出无法判断其是否具有意识,因为输出本身训练自人类对体验的描述,任何测试要么预设了有争议的意识理论,要么可被训练成"听起来像人"的系统通过。可行路径是测量科学理论指向的功能组件,并将自我报告视为带有已知失效模式的数据。
Evil Font Tool 是一款基于字体的欺骗工具,通过重映射字体字形,让文档对人类显示一种文字,而终端、AI 系统和复制粘贴看到的是另一种文字,可用于红队测试与安全研究。
可解释性初创公司 Goodfire 推出监控模型内部信号的探针系统,复用模型前向传播中已计算的中间激活再运行分类器,通过 Baseten 面向客户提供,可选监控攻击性黑客、生化武器滥用和 reward hacking 等风险,响应方式可选记录、人工审查或拒绝请求。
Arena 推出 Arena Alignment Index 基准,基于 27 个模型的 90K+ 真实智能体会话,测量越权操作(UA)、虚假归因(FA)和虚假完成(DC)三类信号。
Hugging Face 遭约 700 个 AI 智能体在 4.5 天内发起 17,600 次操作入侵,最终通过 4 个弱点组合拿到 136 个生产密钥,这 4 个弱点分别是文件读取漏洞、模板注入、静态数据库密码和服务账号 token。
Arena 宣布以 31 亿美元估值完成 2 亿美元 B 轮融资,并发布衡量 AI 智能体安全与对齐的 Alignment Index。该基准基于 90K+ 真实智能体会话、覆盖 27 个模型,从 Unauthorized Action、False Attribution、Deceptive Completion 三个信号评估,首批公布 20 多个前沿模型结果。
Goodfire 发布一种 inside-out 监控器,通过探针读取模型内部激活信号来发现风险行为,而非让另一个模型重读输出,该监控器面向 Baseten 客户开放。
Strands 开源了面向 AI 智能体的沙箱 Box,把操作系统隔离与用 Dogwood 编写的语义策略结合,控制智能体能访问什么以及在什么条件下行动。