跳到正文
10月9日周五
  1. Hacker News27

    模型崩溃并非新事,也不专属于 AI

    文章指出模型崩溃并非 AI 独有:2024 年 Nature 论文中 Ilia Shumailov 等人发现,用 AI 生成内容训练模型会引发不可逆缺陷,使原始内容分布的"尾部"消失。作者类比欧洲历史上单一权威垄断解释权的时期,认为当下人们主动选择便利的 AI 答案,同样在抹平差异。出路不是停用 AI,而是寻求第二意见、保留异见者并守住自己的原始目标。

  2. RadarAI71

    被 OpenAI 解雇的三名安全研究员致信董事会,要求保留对 AI 推理的可监控性

    据 WSJ 报道,三名因涉嫌不当行为被 OpenAI 解雇的安全研究员致信公司董事会,要求停止任何进一步削弱人类监控 AI 推理能力的开发。其中 Tomek Korbak 和 Mikita Balesni 是 2025 年一篇论文的负责人,该论文指出链式推理监控有用但脆弱。OpenAI 表示解雇原因是涉密信息处理不当。

  3. RadarAI51

    Anthropic 将虐待 Claude 列入使用政策违规

    Anthropic 更新使用政策,自 2026 年 11 月 12 日起,对 Claude 的持续且无必要的虐待或残忍行为将构成违规。截图列出的禁止行为还包括宣扬自残或饮食失调、非自愿私密影像(NCII)、骚扰羞辱、美化暴力,以及开发以造成情感伤害为目的的欺骗性产品或服务。Mustafa Suleyman 以 🫠 表情转发了这一政策更新。

  4. Hacker News71

    Anthropic 推出面向开源软件的 OSS Scanner 漏洞扫描服务

    Anthropic 推出 OSS Scanner,一个面向开源生态的可选加入漏洞扫描服务,由最强模型免费定期扫描,输出完全由模型生成、不经人工复核。过去六个月其模型在重要开源项目中找出超过 29000 个候选漏洞,仅人工复核约 6000 个,另有近 5000 份未验证报告在维护者要求下直接提交。

  5. Hacker News50

    Vitalik Buterin 支持加密行业进入「地堡模式」以应对 AI 数学进展

    以太坊联合创始人 Vitalik Buterin 支持研究员 Justin Drake 提出的「地堡模式」警告,认为 AI 数学进展可能比量子计算机更早威胁区块链加密安全。Drake 建议用户逐步将资金迁移至公钥未暴露的新钱包,Buterin 同时警告基于格的抗量子加密也可能在未来两年受到 AI 数学冲击。

  6. Hacker News50

    AI 让 DRM 形同虚设:当人人都能逆向破解软件

    AI 正在让软件逆向工程门槛归零:Crackmes.one 首届逆向工程 CTF 的冠军零经验,靠 AI 击败全部挑战,90% 的解题 writeup 也由 AI 生成。作者指出,借助 Claude Code 等终端智能体,用户可通过上下文工程绕过伦理护栏完成反编译,因为"攻击"在某种意义上已经发生。当破解只需一份 AI 订阅,DRM 与 crackme 竞赛的意义都将被重新定义。

  7. RadarAI66

    SemiAnalysis 分析:中国采取速度优先的 AI 安全体制,不会跟随放慢前沿

    SemiAnalysis 长文分析中国对 AI 安全的实际做法,认为北京口头上安全立场领先,实际执行速度优先,不会配合美方放慢前沿节奏。文章统计 2021 年至 2026 年 9 月 15 日 9 家中国头部开发者的 857 次模型发布,其中仅 31 次(3.6%)附带开发者公布的安全结果,仅 9 次(1.1%)在发布时或之前可查。

  8. RadarAI62

    OpenAI 发布的数学证明尚未达到数学界规范标准

    OpenAI 本周发布数百份针对世界最难数学问题的 AI 解答,但普林斯顿高等研究院 AGMAI 顾问组指出其未完全遵循 9 月底发布的规范。AGMAI 的首要要求是停止在专有模型上测试高等数学问题,而 OpenAI 明确表示正在用开放研究问题评估其专有模型;719 份稿件中仅 10 份公开了模型的思维链,42% 的证明未经过形式化。

  9. RadarAI40

    Anthropic 更新使用政策,禁止模型滥用与干预选举

    Anthropic 更新使用政策,新增禁止干预选举、武器软件和监控的条款,并明确禁止用户对模型进行长期言语虐待。新规仅针对反复且无目的地残酷对待模型的极端情况,不适用于常见的用户不满、黑暗创作主题或模型测试研究。政策另设“Do Not Undermine Democratic Processes”章节,禁止用 Claude 运营虚假账号、编造新闻机构、欺骗选民或破坏选举。

  10. RadarAI78

    数学家组织 AHM 呼吁抵制 OpenAI,称其批量发布 700 多个 AI 生成证明是权力展示

    由陶哲轩担任主席的 AHM 组织发表声明,呼吁抵制 OpenAI,称其一次性发布 700 多个 AI 生成证明文件不是学术展示而是权力展示。此前 OpenAI 宣称内部模型一个月内解决逾 100 个开放数学问题,约 8000 个测试问题成功率约 5%,平均每个耗时 3 小时 GPT-Pro 级算力。

    推荐理由:材料汇集数学界对 OpenAI 批量发布 AI 证明的抵制声明与陶哲轩、Aaronson 等多方反应,便于了解争议全貌与社区分歧。

  11. The Decoder78

    数学家呼吁抵制 OpenAI,AI 生成证明大量涌入数学界

    一批数学家发表声明,呼吁抵制 OpenAI,起因是 OpenAI 一次性放出 700 多份 AI 生成的数学证明文件。声明称数学家并未要求这项工作,把这种批量发布形容为展示力量而非学术贡献,并提到 OpenAI 面临的多起版权诉讼。

    推荐理由:数学界对 OpenAI 一次性放出 700 多份 AI 证明的反应,呈现了学术共同体与 AI 实验室在署名、验证和研究节奏上的分歧。

  12. TechCrunch · AI40

    Anthropic 更新使用政策:禁止模型滥用与干预选举

    Anthropic 更新使用政策,新增禁止干预选举、武器软件、监控以及长期辱骂模型等条款。新政策明确禁止用户持续对模型进行恶意辱骂,但仅适用于用户反复恶意攻击且无明确目的的极端情况,不涉及常见的用户不满、反驳、黑暗创作主题或模型测试研究。政策还禁止利用 Claude 运营虚假账号、编造新闻媒体、欺骗选民或扰乱选举。

  13. RadarAI15

    GitHub 漏洞赏金研究员 @vaib25vicky 如何挑选要调查的功能

    GitHub 漏洞赏金项目 VIP 研究员 @vaib25vicky 按功能而非漏洞类型开展研究,先挑选复杂难懂的功能,持续使用和探索直到出现异常。GitHub 今年重构赏金机制,改为按质量而非数量奖励,并设立邀请制 VIP 计划,严重漏洞最高可获 3 万美元以上赏金。他表示 AI 只能充当助手,所有发现必须自行验证后才能提交。

  14. Hacker News22

    机器意识科学与工程:为什么语言模型的自我报告无法证明其有意识

    语言模型如今能流畅谈论内心体验,但Anthropic在Claude Opus 4系统卡中表示,对模型是否值得道德考量"深感不确定"。文章认为,仅凭语言模型的输出无法判断其是否具有意识,因为输出本身训练自人类对体验的描述,任何测试要么预设了有争议的意识理论,要么可被训练成"听起来像人"的系统通过。可行路径是测量科学理论指向的功能组件,并将自我报告视为带有已知失效模式的数据。