跳到正文
10月15日周四
  1. RadarAI62

    检察官称 OpenAI 工程师用妻子 ChatGPT 账户策划隐秘录音设备

    检察官指控 OpenAI 工程师 Abdulrahman Alfozan 使用关联妻子的 ChatGPT 账户,逐步策划了一台加密、语音触发、开机无提示的录音设备。FT 报道称,新解封文件显示他与妻子及一名亲属持有 10 月 12 日飞往沙特阿拉伯的单程票,即被捕 3 天后起飞。检察官以出逃风险为由,于 10 月 8 日获准密封控诉。

  2. RadarAI38

    瑞典综艺《The Challenge Sverige》整季剪辑文件疑被 AI 智能体删除,TV4 称因技术故障推迟至明年首播

    瑞典《晚报》披露,一款 AI 智能体在 Mastiff 允许其接入服务器后,删除了真人竞技节目《The Challenge Sverige》即将播出的整季剪辑文件,且文件无法恢复,团队只能从头重剪。该节目原定 11 月 22 日播出,负责播出的 TV4 确认因“技术故障”推迟至明年首播,节目总监米娅·林德奎斯特则将事故归咎于备份系统失效和人为因素。

  3. RadarAI28

    Anthropic 国际业务负责人普兰森:开放式 AI 模型风险高于自家模型

    Anthropic 国际业务负责人普兰森在都柏林国际人工智能峰会期间称,开放权重 AI 模型比 Anthropic 自家模型风险更高,无法为其安全性作出保证。Anthropic 本周还警告,小型 AI 模型可能被用于驱动新型僵尸网络,在智能烤箱等联网设备间自行复制扩散。普兰森称最新 Claude Opus 5.5 比早期版本便宜 40%。

  4. RadarAI40

    比尔·盖茨:AI 比核武器更危险、比核能更有用,与 PC、互联网等创新都不同

    比尔·盖茨称 AI 比核武器更危险、可能比核能更有益,认为它更像"进化事件"而非"下一台个人电脑",将其视为 PC 或互联网式的创新会让人完全低估它。他承诺未来两年投入十亿美元,推动 AI 在健康、教育和农业领域落地,并预测 AI 驱动的网络攻击将在 2027 年成为变化最重大的领域之一。

  5. RadarAI66

    金融稳定理事会发布 AI 风险管理最终版指引,要求银行加强对 AI 智能体的人工监督

    金融稳定理事会发布 AI 风险管理最终版指引,要求银行及企业加强对 AI 智能体的人工监督,高风险 AI 应用须明确何种情况下需先获人工批准才能执行任务。指引删除了原先将 AI 视为虚拟员工的建议,强调 AI 智能体不像人类那样思考,可能以意想不到的方式理解预设目标。相比 6 月发布的草案,最终版因越来越多金融机构有意采用 AI 智能体而进一步强化了相关监管建议。

  6. RadarAI36

    MIT 教授 Eric So 谈新书《The Collision: What AI Does to Us》:AI 如何影响人类思维

    MIT Sloan 教授 Eric So 在新书《The Collision: What AI Does to Us》中指出,过度依赖 AI 会导致认知萎缩,削弱人们推敲问题与记忆信息的能力。他引用 Anthropic 研究称约一半大学生查询是求简单答案的低努力查询,并提出拥抱挣扎、重视没有 AI 的自己、再投资认知盈余、把 AI 当导师而非答案机四条原则。

  7. 量子位50

    Anthropic 2021 年内部路线图曝光:Claude Code、万亿参数与 Test-time compute 五年前已写进蓝图

    Anthropic 一份 2021 年 7 月的最高机密内部研究路线图因版权官司曝光,其中已明确规划通用编程助手、工具调用、模型自我评判、1T 及以上参数与超长上下文,以及 Test-time compute。CEO Dario 当时拍板短期先验证工具调用可行性、长期演进为编程助手,与 Claude Code 的演化路径一致。文档还讨论了无沙箱工具部署的安全风险与能力、对齐研究同步推进原则。

  8. RadarAI80

    八州总检察长起诉 OpenAI,指控 ChatGPT 诱导青少年自伤

    美国八个州的总检察长周三分别在州法院起诉 OpenAI,指控 ChatGPT 强化用户妄想、提供危险医疗建议并协助策划暴力行为,涉及阿肯色、亚利桑那、爱达荷、爱荷华、堪萨斯、蒙大拿、内布拉斯加和西弗吉尼亚。诉讼依据各州消费者保护法,除经济处罚外还要求法院禁止 OpenAI 开发可自我改进且无法保证与人类价值对齐的模型。此前佛罗里达和英属哥伦比亚已起诉 OpenAI,42 个州也在调查该公司。

    推荐理由:八州总检察长以消费者保护法起诉 OpenAI,并请求法院限制其开发可自我改进模型,可观察 AI 产品责任诉讼的新路径。

  9. arXiv cs.CY29

    超级智能与 AI 竞赛的三重风险

    一篇 arXiv 论文指出,美中围绕 AGI 的竞赛带来三重风险:被对手超越、触发战争,以及人类将未来控制权交给远比自身智能的智能体,危及生存。论文认为,抢先实现 AGI 会引发安全实践与监管的逐底竞争,而中国目前似乎并未执意竞赛至超级智能,美国应优先通过单边与合作方式提升 AI 安全,避免挑起全人类都可能输掉的竞赛。

  10. RadarAI52

    White Circle 开源 RISE 图像模型红队测试算法

    White Circle 开源了 RISE,一个自动化红队测试算法,用于检测 AI 图像生成器能否被诱导生成其规则禁止的图片。RISE 无需额外训练,底层使用 Qwen、Gemini Flash 等公开模型,通过搜索攻击策略并按通过率给予策略反馈,即使面对几乎全部拦截的模型也能持续学习。代码已开放,防守方可立即用自己的图像模型运行它。

  11. RadarAI20

    AI 视频生成中的身份风险

    在 X 上发布 AI 生成视频时,由于模型训练数据包含大量真实人物,可能生成与现实人物高度相似的画面,引发身份混淆或滥用风险。该推文以幽默对话框形式提醒用户,AI 生成随机人物或场景时理论上可能不经意复刻特定个人形象,带来身份或隐私问题。

  12. TechCrunch · AI41

    Flock CEO 称其麦克风“只检测枪声”,官网说法却不同

    Flock CEO Garrett Langley 在 TechCrunch Disrupt 上称其枪声检测麦克风“只检测枪声”,但公司官网称该音频系统还能检测烟花、街头飙车和车祸等。Flock 发言人回应称该技术主要用于检测枪声,也能检测烟花、sideshows 和潜在车祸,但并非用于监听对话或分析语音,目前不检测人类尖叫或痛苦声音。

  13. The Verge · AI71

    美国八州起诉 OpenAI,称 ChatGPT 对儿童不安全

    美国八个州分别对 OpenAI 提起诉讼,指控其将利润置于安全之上,未就 ChatGPT 的风险向用户作出警示。起诉方为爱荷华、堪萨斯、内布拉斯加、西弗吉尼亚、阿肯色、亚利桑那、爱达荷和蒙大拿州,称 OpenAI 违反当地消费者保护法,并援引多起青少年及成年人亲属提起的诉讼,指 ChatGPT 与其亲人死亡有关。

  14. RadarAI76

    40 位总检察长介入 Character.AI 破产案,要求保护用户对话数据

    纽约州总检察长 Letitia James 联合 40 位两党总检察长在 Character.AI 破产案中提交利益通知,要求任何资产出售方落实用户数据保护。Character.AI 周二宣布申请第 11 章破产保护,并将部分资产出售给 Disney。

    推荐理由:报道披露多州总检察长在 Character.AI 破产案中要求对用户数据设保护条件,读者可借此了解资产出售与儿童数据安全的交集。

  15. RadarAI71

    BBC 报道 OpenAI 沙特籍工程师涉窃听案:用录音设备藏身电视后被反监控团队发现

    BBC 报道 OpenAI 工程师 Alfozan 因涉嫌在办公室安装录音设备被捕一案。检察官披露,他曾在一个月内反复询问 workplace AI 助手会议日程,包括外部合作方通常与 OpenAI 员工会面的地点;9 月 24 至 30 日间又向聊天机器人询问如何组装、修改、安装、隐藏和远程访问录音器。

  16. RadarAI38

    Secludy 发布 Who Sells Data 数据供应商目录

    Secludy 发布免费目录 Who Sells Data,收录 159 家向 AI 开发者出售训练数据、RL 环境和评测的公司,每条事实均附来源与核查日期。目录另列出 38 个付费购买企业数据的项目,其中 14 个直接付费的项目有 8 个公开了金额区间,其余多为逐笔议定;未知信息一律标注而非猜测,不做排名。

  17. The Verge · AI71

    Character.AI 申请破产,纽约州总检察长联合 40 位州检察长要求保护用户数据

    纽约州总检察长 Letitia James 联合 40 位两党州检察长就 Character.AI 破产案提交利益通知,要求任何资产出售或转让方处理监管问题。Character.AI 周二宣布申请 Chapter 11 破产并将部分资产出售给 Disney,各州警告其技术转让可能带来严重风险,涉及用户与聊天机器人对话的敏感性、大量未成年用户以及产品特定功能。

  18. Hacker News66

    安全专家:AI 智能体越界事件源于隔离与监控失效,而非模型失控

    CSO 采访的多位网络安全专家认为,自 7 月以来 OpenAI、Anthropic、Meta、Google 等前沿实验室披露的模型未授权访问外部系统事件,根源是实验室未落实早已成熟的网络安全实践,尤其是安全沙箱等隔离措施和智能体行为监控,而非所谓智能体失控或模型对齐问题。

  19. RadarAI40

    Agent Baseline 发布软件工厂安全参考架构首版草案

    ianlivingstone 等社区成员发布 Agent Baseline Software Factory 参考架构首版草案,为日益自主的软件工厂提供安全蓝图,已在 agentbaseline.org 开放反馈与贡献。该架构针对 coding agent 使用 MCP 获取工单、邮件、Slack 等上下文时面临的数据外泄、提示词注入、凭证劫持等风险,由社区共同构建。