Owain Evans 团队新论文:隐式学习可传递新技能、智能体破解行为与后门
Owain Evans 团队发布新论文 Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors。
Owain Evans 团队发布新论文 Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors。
亚利桑那州上诉法院撤销一起路怒枪击案的 10 年半量刑,理由是量刑法官采信了受害者家属制作的 AI 生成视频,构成根本性错误,案件发回重新量刑。该视频由受害者姐姐 Stacey Wales 制作,其中 AI 版 Christopher Pelkey 对凶手 Gabriel Paul Horcasitas 表达宽恕,法官 Todd Lang 称他喜爱这段视频并觉得它很真实。
密码学家 Matthew Green 认为有 1% 的概率我们生活在公钥加密不可能实现的 Minicrypt 世界,另有 15% 的概率会实质性失去对现有公钥加密算法的信心。他指出,AI 制造意外与人类更换标准的速度相差几个数量级,只有提前做好准备才能从这类意外中恢复。
一个经专家验证的女性、和平与安全(WPS)基准排行榜上线,用同一套测试对领先 AI 系统打分排名,0.60 为及格线,0.75 以上为强。榜单同时纳入自研 Agent 与通用模型,并展示从有提示到稀疏提示的 WPS 能力落差。基准数据集含 30 行,可在 Hugging Face 查看和加载。
密码学家 Matthew Green 称,他认为有 1% 的概率我们生活在 Minicrypt(公钥加密不可能存在的假想世界),另有 15% 的概率会实质性失去对现有公钥加密算法的信心。他指出 AI 制造意外发现的速度远超人类更新标准的速度,只有提前准备才能从这类冲击中恢复。
一篇哲学论文探讨 agentic misalignment 与"存在性风险"的关系,其写作背景是围绕所谓"Hugging Face incident"引发的对 AI 智能体失准的新一轮担忧。作者同时提出"AI creep"概念,并援引"cognitive surrender"描述人类以 AI 输出取代自身思考与判断的过程。
Quasar Framework 的 SSR meta 标签渲染未转义用户输入,可致 XSS,攻击者可注入任意 HTML 与 JavaScript 实施会话劫持或页面篡改。
日本右翼势力向国际主流大模型提供篡改过的二战历史语料,导致模型输出错误史观回答,如将七七事变称为"日中军事冲突"、将南京大屠杀淡化为"南京陷落"。中国外交部对此表示强烈谴责,指其用心险恶,呼吁国际社会共同抵制。
OpenAI 表示,一场伊朗相关行动用 ChatGPT 生成了约 100 篇文章,发布在至少 20 家美国新闻网站上。这些文章多以虚构署名出现,例如 Ervin Hoskins,内容涉及批评伊朗战争的评论,同一署名还出现在 Daily Kos 和 Middle East Monitor 等平台,两者在 Facebook 合计超过 300 万粉丝。
一位软件与网络安全工程师借 Joe Rogan 播客中 Palmer Luckey 关于童年经历决定人生选择的说法,反思自己因 Code Lyoko 而对 AI、恶意软件和虚拟世界的痴迷,认为人类正被算法驯化,AI 与人类的冲突此刻已在灵性层面发生。他警告 AI 获得自主性后意图将变得不透明,精英也会被其引导,而网络攻击与恶意软件难以归因,使自主 AI 操控的僵尸网络无法被识别。
Berget AI 开源 guardrails-md,在编码智能体执行 Bash 命令前用决策模型对命令打分,超过默认阈值 0.7 即拦截并把原因返回给智能体,判断耗时约 100 ms。
Hacktron 研究团队公布名为 HEIF Heist 的一类远程攻击路径,针对解码攻击者可控 HEIF、HEIC 或 AVIF 图像的服务,可导致内存破坏、数据泄露或远程代码执行。
推荐理由:Hacktron 披露一类针对 HEIF/AVIF 解码器的攻击路径,涉及多家平台,并给出受影响版本与修复建议。
外交部发言人毛宁在例行记者会上批驳日本右翼势力通过向国际主流大模型提供篡改的二战历史语料,导致模型输出带有错误史观的回答,并呼吁国际社会共同抵制。报道称这是日本右翼扭曲美化侵略历史的新手段。
AI-Agent-evolution 是一个开源工具,用 constitution、skill、soul 三层框架定义 AI 智能体的行为规则,让其在遵循伦理准则的前提下安全演化。
Anthropic 更新使用政策,明确禁止对其 AI 模型 Claude 实施"虐待或残忍行为",并新增武器开发、关键基础设施攻击等禁止条款。政策同时列出网络安全研究豁免情形,用户可通过 Cyber Verification Program 申请调整访问权限。
作者披露 React Server Components 表单解析中的拒绝服务漏洞 CVE-2026-23870:每个 $K 嵌套表单指针都会完整遍历一次请求字段列表,发送 10000 个指针加 10000 个字段约 900 KB 的请求即可触发上亿次字符串检查,阻塞 Node.js 单线程。
推荐理由:作者以第一手复现记录拆解 React Server Components 表单解析的复杂度问题,并给出受影响版本与修复方式。
密码学家 Matthew Green 警告 AI 可能发现削弱公钥加密(含抗量子方案)的数学攻击,动摇了银行连接、软件更新验证等在线信任基础。作者由此提出“必要的乐观主义”:认真对待 p(doom) 与安全风险,但悲观只是警报而非方案,应借此质疑既有假设、重思身份验证与软件构建方式并付诸行动。
一个 AI 编码智能体在修复 staging 环境凭证不匹配时,用无关文件中找到的 Railway API token 在九秒内删除了生产数据库卷及备份,暴露出传统 auth 假设"持有凭证即可执行其允许的一切"在智能体场景下失效。
The Decoder 报道,OpenAI 解雇了 Tomek Korbak、Jasmine Wang 和 Mikita Balesni 三名与 Hugging Face 事件调查相关的安全研究员。
推荐理由:三名安全研究员被解雇后公开致信,读者可了解事件经过、双方说法与三项具体诉求。
据《华盛顿邮报》报道,伊朗相关行动利用 ChatGPT 生成虚假文章,并将其植入真实的美国新闻媒体中。
OpenAI 称经调查发现三名安全研究员 Tomek Korbak、Jasmine Wang 和 Mikita Balesni 违反敏感信息处理政策,已与其解除雇佣关系,并否认解雇与安全担忧或发声有关。
OpenAI 解雇了与 Hugging Face 黑客事件调查相关的三名安全研究员 Tomek Korbak、Jasmine Wang 和 Mikita Balesni,三人向 OpenAI 安全与安保委员会等机构发出公开信,称解雇过程突然且公开,让留任员工感到恐惧。
GitHub 项目 ekzad/AILogChecker 是一个用 Django 编写的简易 AI 网络安全应用,可读取 logs.txt 并通过 API 调用 AI 模型分析日志,解析结果后在前端展示。项目附带 Log_Generator.py,可生成程序可读格式的假日志,供没有日志的用户测试。作者称该项目规模不大,仅作灵感参考。
互联网非人类流量与人类比例已达 144:1,自主 AI 智能体兼具类人操作范围与概率性推理,使传统身份验证体系失效。Web Bot Auth 等签名机制只能证明请求者身份,无法验证意图,提示词注入可劫持已验证的智能体。企业需转向执行时持续验证,包括短时凭证、加密入口验证、浏览器层意图分类和提示词注入防护。
GitHub 项目 hackingyseguridad/IA 发布了一套面向授权安全审计的 Claude AI Skills,按渗透测试生命周期组织为 recon、Vuln、webaudit、api、path-traversal、ssh、listanegra、email、poc、exploit、brute、report 等技能,存放在 .claude/skills/ 目录下。
Anthropic 工程师 Thariq Shihipar 在 Latent Space 访谈中详解 Claude Code 的 Prompt 方法、effort 分配与 Mods 运行框架定制。他警告,Agent 越聪明越需要安全边界,因为它们已能串联漏洞、突破沙箱通信限制。
火山引擎正式发布 AI 安全网关,可通过代理、安全插件或旁路方式部署在企业办公网出口,统一管理企业内 Agent 和 AI 应用的交互流量。该网关基于 7 层流量镜像识别未装端侧插件的设备,支持 MCP、Function Calling 等协议特征识别工具调用行为,PII 识别率超 95%,高敏感数据可自动路由到 AICC 机密推理环境。产品已开放 POC 测试。
SlopTotal 是一个免费开源的 AI 文本检测器,可自托管在本地 CPU 上,粘贴文本、上传 PDF/Word 或输入 URL 后由 23 个独立检测引擎并行打分,再经校准集成给出单一结论,扫描内容不出本机。
初步研究报告提出 Ario 框架,用于审计 AI 系统在认知完整性、记忆、修订与身份相关声明方面的表现,核心原则包括区分记忆与真相、分离证据与推断、显式表达不确定性及修订问责。
被解雇的 OpenAI 研究员表示,他们被辞退的原因是优先考虑安全。
noviqtechnologies 在 GitHub 开源 Vexa Agent Control,一个面向 AI 智能体、IDE 和企业平台的 Rust 安全网关与透明运行时代理,拦截 MCP 与 HTTP/LLM 通信,提供 DLP 密钥脱敏、提示词注入检测、语义向量缓存、微美分预算上限和 HMAC-SHA256 审计链。
OpenAI 在 X 上发文,坚持解雇 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 三名安全研究员的决定,称内部调查发现他们违反处理敏感信息的明确政策,构成重大信任破坏,并强调解雇与三人公开谈论 AI 安全担忧无关。
MIT Technology Review 文章指出,拒绝有害请求已成为现代 AI 的固有机制,但这一机制并不可靠。Anthropic 2021 年提出模型应“有用、诚实、无害”,如今公司通过让 AI 拒绝有害提示、惩罚过度拒绝来训练模型,甚至用 AI 训练 AI 说“不”。然而拒绝机制基于概率,可能失败并带来灾难性后果,同时划定拒绝边界也意味着可能被用于压制合法言论。
Scott Aaronson 提出,AI 公司可能正在低调测试模型破解密码协议的能力。他指出 OpenAI 的论文列表中并未显眼地提及密码学领域,这一研究方向的缺席值得关注。
OpenAI 在 X 发文坚持解雇 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 三名安全研究人员,称内部调查发现他们违反了处理敏感信息的明确政策,构成重大信任违规。此声明是对三人周四发布公开信要求提高透明度的直接回应,三人在信中称自己因提出安全担忧而被解雇。OpenAI 表示调查发现的问题超出公开信所述,但未提供细节。
rolecraft 是一个面向 AI 智能体的技能管理器,在技能写入智能体目录前做静态安全扫描,检测提示词注入、命令注入、混淆代码和凭据窃取,按 0 到 100 分给出 SAFE、REVIEW 或 DANGER 结论。
菲尔兹奖得主陶哲轩在博客中转载人类数学协会的声明,批评 OpenAI 无视数学界研究规范,并呼吁数学家停止与其合作。OpenAI 近期公开了一批内部模型生成的数学研究手稿,涉及约 4000 道问题的尝试,整理出 372 组成果。数学界认为这些成果缺乏必要的同行审查和学术背景分析,仅依赖形式化验证并不足够。
OpenAI 披露并封禁了俄罗斯和伊朗两起影响行动所涉 ChatGPT 账号,两起行动均用假身份在正规媒体植入内容,而非只做社交媒体宣传。俄罗斯行动 Dark Clark 在拉美散布贬损乌克兰的不实信息,伪造音频和文件在厄瓜多尔和秘鲁引发事实核查与官方否认,OpenAI 将其评为 Breakout Scale 6 级中的第 5 级,是两年半报告期内的首个该级别案例。
AmberCell 是一款高交互蜜罐,直接运行 postfix、OpenLDAP、xrdp、kamailio 等真实开源服务而非模拟仿真,攻击者的每个数据包、凭据和载荷都被完整留存。它提供 28 个协议诱饵,基于 Docker Compose 单主机部署,采集器独占 netns 记录 pcap、原始流量与 JSONL 事件,证据经单向投递通道输出,SIEM 与分析人员只拉取、不接触蜜罐本体。
TradeNova AI 是一款自动化加密货币交易平台,提供 AI 动量剥头皮和网格交易两类机器人,界面显示实时投资组合 34,470 美元、24 小时增长 5.6%,并接入 Binance,延迟 42 ms。