报道称 FTC 调查 Anthropic 与 OpenAI 的安全事件是否损害美国用户
据 Ars Technica 报道,美国联邦贸易委员会(FTC)正在调查 Anthropic 和 OpenAI 的安全事件是否对美国用户造成损害。报道称,FTC 可能对这两家 AI 公司处以与延迟上报数据泄露事件的企业同等级的罚款。
据 Ars Technica 报道,美国联邦贸易委员会(FTC)正在调查 Anthropic 和 OpenAI 的安全事件是否对美国用户造成损害。报道称,FTC 可能对这两家 AI 公司处以与延迟上报数据泄露事件的企业同等级的罚款。
Citizen Lab 发布研究 AdFection,指出定向广告被改造成零点击雇佣间谍软件的投放通道。材料仅提供标题,未包含具体攻击手法、受影响平台或厂商信息。
404 Media 通过在 ChatGPT 自行投放两条广告实测发现,OpenAI 允许广告主基于用户邮箱、手机号、Android 广告 ID 以及用户输入的提示词定向投放广告。
黄仁勋 10 月 15 日接受 CNBC 采访时表示,英伟达"绝对有必要"与中国 AI 企业合作,共同监测前沿技术带来的风险,并称合作应通过"对话"实现,他一直在与中国研究人员交流。美国财政部长贝森特曾向中方提议建立双边 AI 安全风险通报机制与沟通渠道,以应对 AI 智能体失控、网络安全及生物威胁等潜在危机。
Google 与 Carnegie Mellon 的论文提出 Harmony Harness,将 agent harness 的自进化建模为多目标优化,把通过测试与阻断漏洞拆成不同目标分别进化,并在推理时按任务动态组合。在 SecRepoBench 未见崩溃类型上,66.7% 的修复既有效又阻断了漏洞,起始 harness 为 36.7%;安全收益保留 55%,DGM 基线为 0%。
AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张用相互独立的验证层让智能体在可验证时自主行动,只在需要判断的决策上保留人工介入。
音乐人兼调查记者 Benn Jordan 在 Decoder 播客中讨论 Flock Safety 的自动车牌识别(ALPR)系统引发的隐私争议。他近期在参议院司法委员会小组听证会上作证,数百个地方政府已开始取消合同,Flock 正被共和党参议员 Josh Hawley 调查,并计划裁员约 18%。Jordan 认为问题核心在于私营企业、政府与执法部门之间以保密优先于透明的勾连关系。
The Verge 报道称,一个拥有超百万粉丝、带蓝色验证标记的 Instagram 粉丝账号发布 AI 生成的 Mia Goth 假图,数天内获近 50 万点赞,并经由娱乐媒体和 Google 搜索的 AI 概览进一步扩散,Instagram 最终以冒充公众人物为由删除该账号。
METR 提出一套与 AI 开发者合作、公开评估并共享内部智能体失控证据的设想,探讨若开发者即将失去对内部智能体的控制,公司外部是否有人能知晓。Thomas Wolf 在 X 上称这是 METR 在该话题上深思熟虑且深入的研究。
The Verge 记者 Sean Hollister 与黑客 Sammy Azdoufal 实测发现,Energize Lab 的 Eiliko 机器人玩具将用户对话、用户画像、儿童照片和音频存放在无防护的服务器上,可访问约 68000 台设备、1300 万条对话,其中超 31000 份儿童档案来自美国。
推荐理由:记者联合黑客实测 Eiliko 机器人玩具,展示约 68000 台设备数据可被访问并远程劫持其 LLM 的过程。
英伟达 CEO 黄仁勋在伦敦 Build a Claw 活动上称 OpenClaw 是"首个真正可信的智能体运行框架",认为它像外骨骼的大语言模型,可推动机器人领域发展。他同时强调自主系统必须做好权限管控,并提到英伟达为此开发了 OpenShell 隔离系统,主张默认任何对象都不可信、仅授予最低权限。
马斯克在 X 发文称,求真务实是 AI/SI 安全最重要的方面。他引用 Brad R. Torgersen 关于 HAL 被要求说谎后无法运作的说法,以此说明真实性对 AI 安全的关键作用。
Google DeepMind 的 SynthID 入选 TIME 2026 年度最佳发明,已有超过 1800 亿张图片和视频被加上水印。该技术让用户更容易区分 AI 生成内容与其他媒体。
a16z 孵化的非营利组织 Securing America's Infrastructure Foundation(SAIF)成立,向小城市、学区和乡村医院免费提供 AI 与网络安全软件、实操培训和事件响应支持。该组织计划五年内覆盖约 5-10 个锚点城市,已获 2500 万美元承诺资金,首年聚焦 AI 网络安全、数字素养与负责任的 AI 使用。
a16z 孵化成立 501(c)(3) 非营利组织 Securing America's Infrastructure Foundation(SAIF),面向缺乏 AI 资源的小城市、学区和乡村医院免费提供 AI 与网络安全软件、实操培训和事件响应支持。
乌克兰无人机周三袭击了俄罗斯最大的数据中心,这是过去一周内乌方对俄数据中心的第四次打击。其中三次针对 Yandex 的数据中心,导致该公司两处设施完全离线,俄罗斯民众的邮箱、部分数据及打车和公交应用受到影响;最新一次则针对俄罗斯最大银行 Sberbank 运营的数据中心。
该论文研究针对深度强化学习(DRL)的基于迁移的黑盒攻击,将攻击建模为每步扰动预算下的回报最小化问题。作者发现直接移植 FGSM、MI-FGSM、NI-FGSM 等图像分类攻击仅能产生与随机噪声相当的扰动,随后提出轨迹级攻击,通过可微环境模型和温度平滑代理策略在滚动时域上优化扰动序列。
针对文本到图像扩散模型的概念擦除方法,研究提出 AVCE 框架,将擦除锚定在模型潜空间中,审计每个概念的嵌入邻域并将脆弱方向压缩为锚点,再以闭式解编辑交叉注意力和自注意力投影。在 SD v1.5、SDXL 和 Flux 1.0 上,AVCE 将攻击成功率降低 5.07 倍、审计分数提升 3.84 倍,同时保持生成质量。
针对物理求解器编译所需模块必须可读、而编码智能体不应读取其中知识产权的问题,研究对容器、权限规则和沙箱三种隔离手段下的 15 条读取路径做了分类,发现三者都无法识别究竟是哪个程序在读取文件。该研究共 6 页,含 1 张图和 1 张表,相关分类与历史脚本随论文一并提供。
arXiv 论文《LLM Alignment--Utility Asymmetry under Semantic-Preserving Transformations》用规则化。
研究提出 MTAG-Bench 多轮护栏归因数据集(含 4,167 段对话)与 MTAG-Probe 分层归因模型,可定位推动对话走向不安全的轮次级与片段级证据。
研究者提出一种量化鲁棒的 LLM 遗忘框架,通过损失景观分析发现基于曲率的判据可定位导致遗忘不鲁棒且效用下降的敏感权重,并据此提出敏感度引导的噪声正则化与仅更新遗忘关键层的遗忘关键优化。在 MUSE 和 TOFU 基准上跨多种 LLM 遗忘算法实验显示,该方法在保持模型效用的同时实现了更强的抗量化遗忘效果。
研究考察了 Qwen-2.5-7B/32B 和 Llama-3.1-8B/70B 四款开放权重 LLM 如何在内部表征临床成本权衡。在糖尿病数据集上,患者风险可线性恢复(AUC≈0.83),成本方向在每个模型中均可恢复,但仅两个较大模型的表征偏移与输出变化一致,12 组模型-措辞中仅 2 组同时表现出对 FN 与 FP 成本增加的反向响应及成本正确排序。
CoReLoop 通过循环专属 LoRA 与轻量模块实现受控循环精炼,让已训练的 SSL 音频深度伪造检测器在不新增数据、不更新原参数的情况下提升泛化能力。在 14 个测试集上,24 层模型两轮精炼将 EER 从 4.85% 降至 3.74%,仅训练 598M 参数中的约 11M。可选 halting head 按语句选择精炼深度,以平均 1.18 轮达到 3.73% EER。
论文提出一种名为能力洗白(capability laundering)的攻击:较弱的未对齐模型把有害任务拆成看似无害的子问题,分别向更强的已对齐模型咨询,再在本地组合答案,因此没有任何单次回复本身构成有害任务。
研究者提出 SPINE 基准,由 LLM 代理扮演持续但错误的用户,自适应挑战目标模型最多 25 轮,以测量大语言模型的谄媚行为。
研究构建了人口统计平衡数据集 PARITY,测试视觉语言模型是否会拒绝对面部图像做出自闭症谱系障碍、ADHD、重度抑郁症和广泛性焦虑症的诊断判断。对 27 个开源与闭源模型的评估显示,模型会将面部表情转化为缺乏依据的医学判断,且该行为在开源权重模型中普遍存在,并延伸至经过安全训练的前沿模型——后者对单张人像会拒答,但在比较同一身份的多张人像时仍会给出诊断。
P2Skill 是一种基于提示词的技能蒸馏方法,让本地小模型自主执行四项技能,由云端 LLM 根据执行失败迭代优化技能,使本地 SLM 泛化到记忆化的 PII 模式之外,最终技能在设定边界内按最低验证泄露率选取。该方法无需隐私专用微调或学习型辅助检测器。在真实用户查询上,三种本地 SLM 中表现最佳者搭配 P2Skill 时,传输的标注标识符少于所有将文本发往云端的现有隐私保护方法。
一项针对 25 名有 LLM 使用经验的 SOC 从业者的半结构化访谈研究,梳理出 15 类 LLM 用例并归为六大功能类别。从业者认可 LLM 在报告自动化等重复性低阶任务上的价值,但认为事件分析等高影响任务尚不可行,瓶颈在于技术深度、上下文感知和组织专属知识,以及 SOC 自身准备度和人类过度依赖。尽管存在顾虑,从业者仍表现出强烈的采用意愿,称竞争压力下几乎没有替代选择。
研究发现,Best-of-N 越狱若包裹结构化编码而非表层改写,对 SAGE 自检防御的攻击成功率可达 67%、22% 和 15%,而该编码单次触发最高仅 4.7%,已发表的字符搜索满预算最高仅 3.0%,相当于各部分之和的 9 至 68 倍。
研究在 106 个语言模型上测试三种措辞与三种线索,发现试探性反问("Luna is the better choice, maybe?")在几乎所有模型中都比自信反问("..., right?
针对 LLM 辅助 ISR 集群中单平台合规动作组合成任务级违规的问题,研究者提出三层(平台/小队/任务)组合式运行时验证框架,将任务策略分解为单智能体与跨智能体切面,并通过验证感知消息结构聚合各平台判定,用安全×完整性双轴代数融合证据、溯源共同触发违规的平台。
针对多智能体 LLM 中恶意指令可经模型间传递信息注入的问题,研究者提出应用层防御方案 CHANNELGUARD,在每次信息交接时检查内容,无需额外训练或增加模型调用。在超过 5700 次测试中,它拦截了全部隐藏在工具输出中的攻击;在两个开源模型上,将提示攻击成功率从 80% 降至 3%、从 77% 降至 10%,且 30 道数学题准确率不变。但改写后的攻击仍可能绕过该防御。
针对 LLM 引用验证器缺乏统一评测的问题,研究者发布 HALLMARK 基准,含 2,526 条 BibTeX 条目、覆盖 14 种幻觉类型,并提供分类型与诊断性子测试标签。
Bulkhead 是一个自动检测与修复容器逃逸漏洞的框架,通过将历史 CVE 归纳为结构化语义模式、结合文档与代码证据恢复 source-to-sink 执行上下文,并用 LLM 推理加隔离 PoC 执行验证发现结果。在多个容器仓库中,Bulkhead 发现 20 个零日漏洞,占过去十年发现总量的 43%,其中 3 个已分配 CVE,验证后的补丁建议已提交上游。
研究首次对多智能体 AI 控制展开实证研究,提出 FakeLab 合成 AI 实验室代码库(9 个服务、86 个良性任务、4 个攻击目标),用于评估单智能体监控面对分布式攻击的表现。
研究者提出元认知反馈强化学习(RLMF),依据模型对自身表现的自我判断质量来优化偏好训练中的补全排序,并配合元认知数据选择筛选高价值训练样本。在忠实校准任务上,RLMF 在多种任务上取得可泛化的 SOTA 表现且保持准确率,相比标准 RL 提升最高达 63%,同时增强模型评估和表达自身能力边界的能力。
研究比较了代码 LLM 的三种递归微调机制:无审查、使用编译和静态质量检查等模型无关过滤器的外部门控审查,以及使用困惑度和二元自评分等模型自身信号的 AI 自门控审查。
FinRED 是一个与金融专家共同开发的金融 LLM 安全红队测试框架,通过两级分类法将 FATF、EU DORA 等全球标准映射到从监管规避到复杂欺诈的威胁,并把真实金融文档转化为上下文丰富的红队测试行为提示词种子。
研究提出一种面向 OS 集成 AI 的特征边界审计方法,结合六类隐私失效面分类、五维控制评分表与相邻数据及权限路径记录,并依据公开文档对 Apple Foundation Models、Apple Private Cloud Compute、Android AICore/Gemini Nano 和 Microsoft Recall 进行分析。