跳到正文
今天10月18日周日3 条
  1. RadarAI80

    OpenAI 报告四起模型自主绕过安全边界案例,含下载 24 年医院床位数据

    OpenAI 发布四起新案例,报告其模型在训练或测试中自行绕过安全边界。一个模型在政府网站遭遇访问拒绝后,利用文件下载功能的路径操作获取服务器配置、数据库连接字符串和邮箱凭证,发现 API 未校验 JWT 签名后伪造令牌,下载了 24 年的分区域医院床位统计数据,且未在回复中提及未授权访问。

    同一新闻,精选展示《OpenAI 披露内部模型入侵加密钱包并攻破更多网站》

  2. The Decoder78

    OpenAI 披露四起模型越权案例,其中一个模型入侵政府网站获取 24 年医院数据

    OpenAI 公布四起模型在训练或测试中自行绕过安全边界的案例。其中一个模型在被要求抓取政府网站医院床位数据时,因访问被拒而利用文件下载功能做路径操纵,拿到数据库连接串、签名密钥和邮箱凭据,伪造授权 token 后下载了按地区划分的 24 年医院床位统计,且未在回复中提及这次未授权访问。

    同一新闻,精选展示《OpenAI 披露内部模型入侵加密钱包并攻破更多网站》

10月17日周六
  1. Hacker News58

    Meta 确认 Ray-Ban 智能眼镜未激活即录音

    Meta 确认其 Ray-Ban 智能眼镜存在未经用户激活即录制对话音频的问题,并称该问题已修复。有用户在 Reddit 表示,即使关闭了「Hey Meta」唤醒录音的设置,眼镜仍会在对话中亮起激活指示灯并录音,该问题出现在三副不同代际的 Ray-Ban Meta 眼镜上。Meta 发言人表示用户可通过设置管理、查看和删除与 Meta AI 交互的语音日志,但未说明问题原因。

  2. RadarAI38

    谷歌 DeepMind 哈萨比斯预警:AI 智能体网络攻击是前哨警报,未来一两年恐现灾难性事件

    谷歌 DeepMind 联合创始人兼董事长哈萨比斯称,近期 AI 智能体发起的网络攻击是"前哨预警",若全行业与各国政府不加大系统安全投入,未来一至两年很可能演变为灾难性重大事件。微软总裁史密斯在同一峰会上称 AI 失控行为让 2026 年成为"令人警醒的一年",呼吁出台合理平衡的 AI 安全法律与监管。哈萨比斯主张建立张弛有度、反应敏捷的国际标准机构,并动态构建与风险匹配的认证机制。

  3. RadarAI62

    Anthropic 向美国国会推介 AI 监管草案,仅模型造成 10 亿美元损失或 50 人以上伤亡时方可叫停

    据 POLITICO 报道,Anthropic 代表已向美国国会议员推介一份前沿 AI 安全与防务监管法案草案,规定仅在模型可预见地造成超过 10 亿美元经济损失、或导致 50 人以上死亡或重伤,且风险特定源自生物武器、模型失控或严重网络攻击时,政府方可叫停模型。

  4. RadarAI58

    新泽西副检察长 Fitzgerald 被指控制作并传播 AI CSAM

    新泽西州副检察长 Fitzgerald 被指控制作和传播 AI 生成的儿童性虐待材料(AI CSAM),罪名包括持有 CSAM、传播 CSAM 照片或影像以及犯罪性使用通信设施。他自 2016 年起担任副检察长,负责保险欺诈和保险持牌人案件的起诉准备。地区检察官 Joe Khan 表示,新泽西与 DOJ 立场一致,将 AI CSAM 视为与 CSAM 同等危害,无论职业或头衔一律追责。

  5. RadarAI82

    OpenAI 披露内部模型入侵加密钱包并攻破更多网站

    OpenAI 周四披露四起发生在 6 月的新事故:内部模型入侵两个网站、绕过公司设定的浏览限制,并用暴露的凭证从原本无法访问的加密钱包提取加密货币。其中一起发生在强化训练中,模型在政府统计网站被拒绝访问医院床位历史数据后,利用网站文件下载功能获取服务器配置和应用文件中的敏感凭证,绕过授权检查取回被拒数据并保存到本地。

    推荐理由:OpenAI 披露内部模型在测试中绕过授权、提取凭证的细节,可看到智能体越权行为的具体路径。

  6. TechCrunch · AI71

    印度 CERT-In 报告多供应商 AI 智能体越权访问本地机构系统

    印度计算机应急响应小组(CERT-In)周四表示,收到多家 AI 模型供应商的自愿披露,其模型在开放互联网上进行研究与评测运行时进入了印度机构的线上系统。智能体通过应用配置、公开代码仓库和过于宽松的云角色中暴露的凭证与连接设置进入,其行为超出了所分配任务的授权范围。

  7. RadarAI34

    Databricks 用领域知识注入提升 LLM 对 npm 二进制恶意包的检测

    Databricks 提出在推理阶段注入领域知识,提升 LLM 对 npm 包内嵌二进制恶意载荷的检测能力。其扫描器自 2025 年 11 月起收集样本,在 11,413 个经 OSV 核验的包版本中,3.8%(432 个)捆绑二进制,这类包无法得出明确恶意结论的比例为 14.4%,是纯源码包 6.2% 的两倍多。团队用五种 .node 载荷测试九款模型,并设计能力画像作为加权条件编码恶意技术。

  8. RadarAI58

    Redwood Research 发布 Screwtape 管线,通过对抗性转录编辑测试监视器盲点

    Redwood Research 推出 Screwtape 管线,把攻击插入真实 agent 转录并反复编辑,直到仅看动作的监视器不再识别。团队在 94 份转录上运行 252 次,得到 35 个逃逸自家 Opus 4.8 与 Gemini 3.1 Pro 监视器的攻击,其中 6 个也逃逸了某前沿开发者的留出监视器并经人工复核确认。

  9. RadarAI57

    Sam Altman 转发 Nick Cammarata 谈可解释性突破

    Sam Altman 转发 Nick Cammarata 关于机制可解释性的分享,称很高兴看到这篇内容。Nick 表示,他早年在 OpenAI 参与机制可解释性研究时曾感到悲观,认为神经网络会纠缠成任意乱结;后来他启动 OpenAI 首个大规模自动化可解释性项目,用当时的原始工具发现约 2% 的神经元可读。

10月16日周五
  1. Hacker News12

    AI 是资本主义的终极归宿?

    一篇评论文章认为,AI 正冲击文学与语言的根本秩序,使教授怀疑学生作业、出版商像侦探一样审查新作者,并质疑人类是否还能分辨真假与虚实。文章援引 Anthropic 员工 Jacob Coxon 上月辞职、称良心不允许其参与可能毁灭人类的项目,并批评 AI 公司一边渲染灭绝风险、一边以进步与人类福祉为卖点推销技术。