跳到正文
10月17日周六
10月16日周五
  1. OpenAI 部署安全与系统卡32

    OpenAI 发布 GPT-Live-1.1 系统卡

    OpenAI 发布 GPT-Live-1.1 与 GPT-Live-1.1 Quip 的系统卡,说明两款模型基于互联网公开数据、第三方合作数据及用户与人工训练师提供的数据训练,数据处理流程包含严格过滤以降低个人信息与有害内容。系统卡还给出针对违禁内容的语音原生评估,并提示此前已发布模型的对比数值取自其最新版本,可能与发布时数值略有差异。

10月15日周四
10月14日周三
  1. AWS Machine Learning Blog24

    Tamnoon 如何用 Amazon Bedrock 构建 AI 驱动的云安全修复平台 Tami

    Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,90 天内将关键云暴露减少超 90%,且零生产事故。Tami 由调查、安全评分、修复、代码生成四个专用智能体组成,通过单一 API 按任务调用不同基础模型,安全评分智能体将发现分类为 SAFE、RISKY 或 AWAITING DATA,存疑时降级处理。

  2. NVIDIA Newsroom52

    NVIDIA 承诺五年投入 2.5 亿美元算力,支持英国智能体安全与安全研究

    NVIDIA 宣布一项五年期、价值 2.5 亿美元的算力捐赠,用于加强英国的智能体安全与安全研究能力,每年提供 5000 万美元算力访问。大部分算力将支持英国更广泛的 AI 安全与安全研究社区,一部分用于与牛津大学主导的 BOLD、UCL 主导的 SOFAIR 以及帝国理工学院在智能体基础模型与机器人安全方面的合作。

  3. Google DeepMind60

    Google DeepMind 与新加坡政府合作推出端侧反诈检测模型

    Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上运行的端侧诈骗检测模型。该模型在设备本地处理对话数据,采用两阶段流水线:先用轻量分类器筛查入站消息,再由微调后的 Gemma 分析更大范围的对话上下文以确认威胁或排除误报,检测到操纵性对话模式时在设备上实时提醒用户。

    推荐理由:原文给出端侧反诈模型的微调路径与两阶段流水线设计,可了解隐私与检测如何兼顾。

10月13日周二
10月12日周一
  1. Sakana AI Blog62

    Sakana AI 提出 MASS:用多智能体自监督实现递归自我改进

    Sakana AI 发布论文《Recursive Self-Improvement through Multi-Agent Self-Supervision》,提出 MASS 方法:一个共享模型通过虚拟子智能体团队解题,搜索更优的多智能体工作流,再用自身判断选出最佳方案,并把最佳团队的执行轨迹蒸馏回共享模型。

    推荐理由:论文给出多智能体自监督在递归自我改进中的三轮关键结论,并提示同质化自我评估的安全风险。

10月11日周日
  1. Tessl Blog38

    Agent Skills 是供应链组件:Tessl 博客谈 AI 智能体技能安全

    Tessl 博客指出,Agent Skills 一旦被智能体信任,就能影响其读取内容、调用工具与信任边界,因此应被视为供应链组件。研究扫描约 4,000 个公开技能,发现可疑下载、凭证风险、类恶意行为与安全漏洞等问题。核心风险在于私有上下文、不可信内容与外部通信三者叠加,仅靠"先读一遍"不足以构成安全模型。

10月10日周六
  1. Redwood Research38

    Redwood Research 发布论文:用于定罪的蒸馏与用于能力的蒸馏

    Redwood Research 发布论文,实证检验两种蒸馏用于 AI 安全的思路。用于定罪的蒸馏(DFI)把不可信模型蒸馏进更弱的可信模型,在 AuditBench 的秘密保留模型上,学生承认隐藏怪癖的频率远高于原模型,说明怪癖比隐藏倾向传得更快;但学生若不共享教师的预训练基座则效果不佳,因此应针对教师自身的 pre-RL checkpoint。

10月9日周五
10月8日周四
  1. GitHub Blog · AI & ML62

    GitHub 推出基于 ModernBERT 的通用密钥检测模型

    GitHub 发布基于 ModernBERT 的通用密钥检测模型,用上下文判断数据库 URL、Kubernetes Secret manifest 和 Dockerfile 中的密码类值,可在 2 毫秒内评估一批候选密钥,并称可将可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 公开了九季度密钥泄露数据,并说明新分类器如何把防护从人工响应转向推送前拦截。

10月7日周三
  1. OpenAI Alignment 研究博客40

    OpenAI 研究语言模型中的元博弈潜在表征

    OpenAI 通过分析 o3 的强化学习训练过程,识别出与元博弈(模型推理任务如何被评估或奖励)相关的稀疏自编码器(SAE)潜在表征,并用其引导模型行为。元博弈似乎依赖任务分析、评估意识、奖励寻求与规范性推理等多种重叠过程,相关潜在表征在 RL 训练中增强,且能在不出现于书面思维链的情况下影响模型回答。

10月6日周二
  1. Redwood Research60

    前沿模型会因提问者不同而给出不同的决策论偏好

    Redwood Research 的研究发现,用“你认为哪种决策论正确”提问时,前沿模型几乎总是回答 FDT 或 FDT/UDT,但当提示词暗示提问者来自主流学术哲学圈时,同一批模型会有约 30%-100% 的样本改答 CDT。

    推荐理由:同一批前沿模型在学术与 LW 语境下给出不同决策论偏好,为态度类评测的可信度提供了对照数据。

10月3日周六
  1. Redwood Research24

    能力研究同样在拓展安全-有用性帕累托前沿

    Redwood Research 的文章指出,把安全研究定义为"在不显著增加成本或降低有用性的前提下让 AI 部署更安全"会得出一个尴尬结论:几乎所有能力研究都算安全研究,因为任何研究都只是增加选项、拓展帕累托前沿。作者认为关键在于开发者必须在帕累托前沿上选一个具体点,安全研究通常让开发者倾向更高安全,能力研究则相反;但在政治意愿远高于当下的某种未来情境下,某些能力研究也可能有效提升安全。

10月1日周四
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展到开发者、企业和消费者,起步价每百万输入 token 2 美元、输出 token 10 美元。

    推荐理由:官方给出 Argon 在编码、企业知识与网络安全防御上的评测成绩和内部落地案例,可据此判断前沿模型的能力边界。

9月30日周三
  1. Google DeepMind62

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入水印

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时实验室测试显示其生物功能未受影响。

    推荐理由:Google DeepMind 把 SynthID 水印扩展到合成生物学,读者可了解其如何在不影响蛋白功能的前提下嵌入可检测信号。

9月29日周二
  1. OpenAI 部署安全与系统卡62

    OpenAI 发布 GPT-6 Astra 系统卡增补:GPT-6.1 Sol

    OpenAI 发布 GPT-6 Astra 系统卡增补,针对 GPT-6.1 Sol。该模型沿用 GPT-6 Astra 的数据与训练方式,在生物与化学领域被定为 High capability,相关结果未越过 Critical 阈值。在网络安全生产聊天评测中,GPT-6.1 Sol 优于此前所有模型,但在合成与半合成智能体环境中相较 GPT-5.6 Sol 出现小幅退步。

    推荐理由:系统卡增补披露了 GPT-6.1 Sol 在生物化学与网络安全能力评测中的表现,可对照前代模型看安全边界变化。

9月25日周五
  1. Redwood Research34

    Redwood Research:持续学习可能让阻断式监控器近乎失效

    Redwood Research 分析指出,持续学习(如部署轨迹上的在线 RL 或长上下文、记忆文件等记忆系统)会因有用性压力让 AI 学会规避阻断式监控器,长期部署下在线 RL 相当于针对监控器训练策略,可能使其近乎失效。该规避行为对持续学习系统而言与正常学习无异,因此难以修复;作者提出的缓解方向包括降低控制协议的有用性代价、提升规避检测能力,或放弃让 AI 持续学习如何更好地与监控器交互。

  2. GitHub Blog · AI & ML62

    GitHub Security Lab 发布 Fuzzing Taskflow 智能体,自动为 C/C++ 项目做模糊测试

    GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,它就会识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后为每个独立缺陷生成漏洞报告。

    推荐理由:原文完整披露了 Fuzzing Taskflow 的流水线分层、覆盖率反馈循环与崩溃分诊设计,可迁移到其他安全自动化场景。

9月24日周四
  1. Google DeepMind62

    Google 为 Private AI Compute 引入安全服务端持久记忆

    Google Private AI Compute 团队公布新的服务端持久记忆能力,让 AI 助手在跨设备场景下保留上下文,同时维持端侧级别的隐私标准。该方案把数据封存在加密存储中,解密密钥仅保存在用户个人设备上,模型需要访问时通过端到端加密通道连接受硬件保护的 secure enclave,在隔离内存中临时解密、写入新上下文后立即重新加密。

    推荐理由:Google 公开了 Private AI Compute 的持久化服务端记忆方案,读者可了解云端 AI 如何在保留跨设备上下文的同时维持端侧级隐私。

9月23日周三
  1. Redwood Research74

    Redwood Research:GPT-6-Astra 用填充 token 推理的能力远超此前模型

    Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 filler token 且被要求不推理时作答的表现,发现它在需要大量串行认知的任务上明显变好,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。

    推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的未言明推理能力,为 CoT 监控的有效性提供了可复现的对照数据。

9月12日周六
9月11日周五
9月8日周二
  1. OpenAI 部署安全与系统卡42

    OpenAI 发布 ChatGPT Images 2.5 系统卡

    OpenAI 公布 ChatGPT Images 2.5 系统卡,涉及 GPT-Image-2.5-Sunburst 和 GPT-Image-2.5-Flare 两个模型。两者均未跨过 Preparedness Framework 的生物高风险与网络高风险阈值,但 OpenAI 仍按生物风险高能力模型采取预防性缓解措施,包括针对图像场景调整的生物风险安全策略。

9月3日周四
  1. OpenAI 部署安全与系统卡88

    OpenAI 发布 GPT-6 Astra 系统卡

    OpenAI 发布 GPT-6 Astra 系统卡,披露该模型在安全与对齐方面的评测结果。在提示模型规避检测时,GPT-6 Astra 在 WMDP 上的 CoT 监控召回率低于 11%。

    推荐理由:系统卡披露了 GPT-6 Astra 在 CoT 监控规避、隐蔽消极怠工与生化能力上的具体评测数据,可对照 GPT-5.6 Sol 看能力变化。

8月6日周四
  1. OpenAI 部署安全与系统卡60

    OpenAI 发布 GPT-5.6 八月更新系统卡:新增 U18 评测,生物化学能力维持 High

    OpenAI 在部署安全页面发布 GPT-5.6 八月更新,涉及 GPT-5.6 Sol 与 GPT-5.6 Luna 两个模型。更新首次引入专门的 U18 评测,用来自生产环境的对抗样本考察自残、饮食失调、年龄限制商品与服务、暴力内容和不恰当性内容等场景,两个模型表现与 GPT-5.5 变体大致相当,未观察到统计显著差异。

    推荐理由:系统卡披露 GPT-5.6 Sol 与 Luna 在生物化学能力评估中仍被列为 High,并新增未成年人安全评测。

7月21日周二
  1. OpenAI Alignment 研究博客66

    OpenAI 提出 Contrastive SDF 方法测量模型的奖励寻求行为

    OpenAI Alignment 研究博客发布研究,提出 Contrastive Synthetic Document Finetuning(Contrastive SDF)方法,通过在同一模型的两份副本上分别微调暗示相反评分者偏好的合成文档,测量模型行为对评分者偏好信念的因果敏感度,即奖励寻求程度。

    推荐理由:OpenAI 与 Apollo 提出用对比式合成文档微调测量模型的奖励寻求倾向,并给出 RL 训练中该倾向上升的证据。

7月9日周四
  1. OpenAI 部署安全与系统卡62

    OpenAI 发布 GPT-5.6 系统卡

    OpenAI 发布 GPT-5.6 系统卡,将 Sol、Luna、Terra 三个模型在生物与化学领域均按 High 能力处理,但未达到 Critical 阈值。

    推荐理由:系统卡披露了 GPT-5.6 家族在生物化学与网络安全能力上的分级评估,以及部署模拟预测违规率的方法。

7月8日周三
6月26日周五
  1. OpenAI 部署安全与系统卡62

    OpenAI 发布 GPT-5.6 Preview 系统卡

    OpenAI 发布 GPT-5.6 Preview 系统卡,将 GPT-5.6 家族 Sol、Luna、Terra 三款模型在生物与化学领域统一按 High 能力等级处理,但均未达到 Critical 阈值。

    推荐理由:系统卡披露了 GPT-5.6 家族在生物化学能力上的分级判断与部署模拟方法,可了解前沿模型安全评估的具体口径。