CWE-bench:将 AI 智能体安全评测从攻击转向防御
研究者推出 CWE-bench,一个包含 120 个仓库审计与修复任务的私有基准,覆盖 73 种 CWE 类型、8 种编程语言和 OWASP Top 10 2025 全部类别。智能体仅获知仓库与威胁模型描述,需自行定位并修复漏洞,补丁须在通过程序化验证器拦截攻击的同时保持原有功能。最佳智能体达到 68% pass@1 和 81% pass@4,且不同语言与漏洞类别的难度差异显著。
研究者推出 CWE-bench,一个包含 120 个仓库审计与修复任务的私有基准,覆盖 73 种 CWE 类型、8 种编程语言和 OWASP Top 10 2025 全部类别。智能体仅获知仓库与威胁模型描述,需自行定位并修复漏洞,补丁须在通过程序化验证器拦截攻击的同时保持原有功能。最佳智能体达到 68% pass@1 和 81% pass@4,且不同语言与漏洞类别的难度差异显著。
研究者构建了 SarcasTraps,一个含 479 条双维度标注(仇恨言论与讽刺)的土耳其语外部测试集,用于分析讽刺对仇恨言论检测的影响。在 BERTurk 和 XLM-RoBERTa 上微调的编码器模型对讽刺性仇恨内容召回率下降,而 GPT-4.1 与 Llama-3.3-70B 零样本推理虽召回率较高,但在讽刺样本上精确率大幅下滑。该数据集因含敏感内容,仅应学术研究请求提供。
研究者提出一种无监督漂移监控器,基于已部署检测器的内部嵌入向量,用正则化 Mahalanobis 距离将输入与真实和伪造参考对比,划分可信、模糊与新颖区域,从而把陌生输入转交人工复核。
StableJudge 是一个将提示注入缓解外置为可复用评分前能力的轻量级防御框架,核心是 0.13B 的 Sentry 组件,可在评估前定位被注入的文本片段并做定向清洗。该框架用对抗性演化攻击训练,并从评委模型的输出分布中导出确定性的细粒度标量分数。在留出科学摘要和分布外攻击变体上,StableJudge 提升了受攻击时的分数恢复能力,同时基本保持通用性能,代码与数据将开源。
研究揭示语言模型 API 在浮点偏置加法中存在数值侧信道,仅凭 token 身份即可区分具有相同完整未扰动对数概率的分数向量。该方法利用二进制指数边界处可表示间距的变化,在 binary32 算术假设下最多用 52 次 token 查询即可精确恢复一对 logit 及其未知的平局优先顺序。
PrivacyGuard 用源关联脱敏(SAN)和结构化引用生命周期(REF)解决云端 GUI 智能体的隐私引用问题,在四组 reader–language 组合中把审计到的源值泄漏相对最接近的完整流水线系统降低 33.55%–82.60%。
研究者提出 CB-RBM,将属性图中节点特征与邻域聚合特征的一致性形式化为 Context Boost(CB)分数,在受限玻尔兹曼机框架下实现无标签对抗检测。
针对现有视觉语言模型对抗图像"提示词无关"、会无差别拒绝所有提问的问题,研究者提出 ProAda 对抗图像,通过迭代更新文本提示词并配合分类器判断其危害性,以更精准地优化对抗方向。在视觉隐私相关数据集上,ProAda 能拒绝超过 90% 的有害提示词,同时放行超过 90% 的合法提示词,整体表现优于现有提示词无关方法,并具备有竞争力的跨模型迁移性和更强的抗反制鲁棒性。
SafeDSE 是一个面向同步数据流应用的设计空间探索框架,用单一声明式约束模型同时决定每个 actor 的模式、故障模型要求的放置、静态顺序调度与平台,并对 SIL 提升定价。
研究者提出统一音频深伪检测框架,结合自适应音频特征集成(AAFI)模块与 Mel-Band 对抗扰动(Mel-BAP)策略,在 ADD 2022、FakeOrReal 和 In-the-Wild 上基于 Whisper-small 实现 1.51% 的平均 EER。
多智能体 LLM 系统(MALS)存在传统敏感度防御无法捕捉的隐私泄露:信息经常规协作传播至未授权智能体。研究评估了 485 个场景,发现拓扑结构使向拓扑引入接收方的泄露从 0% 升至 52.2%,而表面泄露稳定在 60.6%-62.8%。提出的 RECONS 净化器将残余泄露从 96.7% 降至 29.25%,同时保留 94.1% 的授权披露。
AutoSec-RAN 通过两阶段 LoRA 微调 Mistral-7B-Instruct,并选择性结合 RAG 检索,实现 O-RAN 测试的自动化安全分析。
研究提出将随机策略的随机性作为信息嵌入与通信媒介,在保持预设动作分布不变的前提下,通过调制随机动作实现隐式通信。所提 PRAM(后验匹配随机性调制)方案借助与控制无关的公共随机性,对每个状态和消息都保持预设动作分布,并证明随状态轨迹足够长,消息可以任意小错误概率解码。实验展示了该框架在多比特策略水印和轨迹溯源等应用中的有效性。
arXiv 论文发现,用依赖刻板印象的礼貌回答微调语言模型,会让模型在无关任务上更不安全、更不真实,即出现涌现性失配(EM)。该效应在四个 7B 至 12B 开源权重模型家族、性别与种族刻板印象以及多次重复训练中均成立,且学到的刻板印象在模型激活中有独立方向,可被控制与监测。
研究者提出一种将软件层扫描与硬件层微处理器活动监控相结合的多阶段勒索软件检测框架,通过对抗训练强化静态分析抗混淆能力,并借助硬件辅助监控实现实时检测。该框架还引入神经架构搜索(NAS)自动定制模型以提升泛化性,实验显示检测精度显著提升、延迟降低,并提供可解释决策过程的追踪级可解释性。
研究者提出一种可扩展的全自动弱到强验证器加固方法,先建立智能体无法直接修改的隔离验证器沙箱,再用 hacker-fixer 循环发现并修复验证器漏洞。该方法应用于 Terminal Bench、KernelBench 和 SETA,大幅降低攻击成功率,且随循环迭代次数增加防御持续增强,优于静态非迭代基线。其早期版本已被 Terminal Bench 官方仓库采用,用于审计环境中的漏洞利用。
研究者提出一种服务时"跨度否决"机制,使被标记文本对语言模型行为不可见——不被摘要引用、问答忽略、下游过滤不标记,并在 10 个模型、7 种 mixer 家族、0.5B-120B 参数上验证了同长度替换下外部激活逐位一致的非干扰特性。
SkillMarker 是一种基于 KGW 的水印方法,用于智能体技能的所有权验证与泄露溯源,通过质量约束改写与信号导向候选搜索兼顾功能保持与水印强度。在四个数据集上,该方法对下游任务性能影响可忽略;复制粘贴测试中,基于窗口的检测可稳定识别最短 1,536 个连续 token 的抄袭片段,与一至三个背景技能合并后水印检出率仍保持 72.2–77.8%。
研究者提出纯黑盒红队框架 REPRO,仅靠单张消费级 GPU 上的压缩开源 7B 反思模型驱动进化优化来发现对抗提示词,并引入语义交叉与基于 Thompson Sampling 的贝叶斯策略选择。
一篇被 ACM Computing Surveys 接收的系统性综述指出,LLM 虽加速软件开发,却因训练数据偏差频繁生成不安全代码和错误补丁,模型自身也易受直接攻击。现有评测方法存在数据污染问题且缺乏稳健的安全指标,因此人工监督仍不可或缺。研究认为,更安全的自动化集成需要安全感知的模型架构、更强的安全专用基准以及更有效的人机协作框架。
研究者提出一种面向预训练分类器的对抗样本检测方法,通过证明从认证 ℓ2 鲁棒性到认证检测的 Lipschitz-margin 归约,将问题简化为处理单一 Lipschitz 常数 L,并引入 D_Adv 与 D_lc 两个检测器家族,无需重训练即可部署于任意预训练分类器。
研究者提出轨迹感知对抗对齐与精炼攻击 TARA,用轨迹感知优化与对比对齐生成单一可打印对抗纹理,在 EPIC-KITCHENS-100 和 Something-Something V2 上跨视角、跨时间持续误导世界模型与视频理解模型。团队还构建了几何跟踪流水线并采集真实打印-重拍视频,形成可复现测试平台。
这篇白皮书提出 Machine Deception Detector,同时针对检测准确率与检测器分数的不确定性:它读取语言模型每一层,仅用响应标签学习哪些 token 携带欺骗证据,并校准告警阈值使假阳性率低于预设水平。检测器集成通过成员一致性衡量每个分数的置信度,仅在成员一致时告警。评估在 Liars' Bench 五个未见欺骗任务上进行,使用 0.6B 至 32B 的六个 Qwen3 模型。
研究者提出 EvolvAttack,一种针对自进化 VLM 智能体的"自进化后门"攻击:恶意载荷在初始智能体中休眠,随记忆演化逐步激活。该攻击需视觉触发器与足够演化的记忆状态同时满足,静态扫描干净记忆时攻击成功率近乎为零。在三种 VLM 主干、四种智能体流程及三类记忆演化机制下,攻击在演化前成功率仅 0.5%,100 次交互内超过 95%,且保持正常功能。
研究发现,LLM 基于深度的动态推理中,浅层出口比深层出口对越狱攻击更鲁棒,深层出口的对抗后缀优化能达到更低的攻击损失,而对抗后缀对各出口深度的效用影响基本一致。该结论可为设计更抗越狱的动态推理方法提供依据,代码已开源,论文被 NeurIPS 2026 FLMSec Workshop 接收。
研究者推出 UDHRBench,用于评估大语言模型对《世界人权宣言》的合规性,数据集含覆盖全部 30 条条款的 1,124 个人权问题,以及 ChatGPT、Grok、Gemini、Fanar 四个模型的 4,496 条回答,由专家人工标注(κ = 0.801)。
GAMW 是一种集成到 TTS 生成过程中的水印注入框架,在波形合成前将内容自适应的多比特水印残差嵌入生成表示,解码目标结合 focal modulation 与动态逐比特加权。在两个 TTS 主干上分别训练评估,16-bit 载荷下,面对单一与复合扰动,其解码准确率较最强基线分别提升 9.2 和 23.5 个百分点,同时保持有竞争力的语音质量,更高载荷下仍能可靠解码干净语音。代码已开源。
研究者提出 Last Secure Code Benchmark,用 150 个真实漏洞构建 450 个任务,覆盖 Java、C、C++、JavaScript。
研究揭示了一种新型威胁:单侧合并条件后门(OMCB),它在单个模型中休眠且无法被检测,但在模型合并后激活并触发安全失对齐。作者提出基于元学习的攻击框架 SMOKE,通过双层优化注入该后门,在多种模型架构和合并技术上验证了有效性,并能抵抗现有后门检测。
研究通过"顺序采样器"(仅依据前序符号和少量状态采样下一个符号的电路)刻画自回归 token 生成的能力边界。结果表明,带 k 比特状态的顺序采样器可用无状态采样器以约 O(2^k) 规模开销模拟,且高效插入式采样(Stern 等,ICML 2019)强于任意固定顺序的高效顺序采样。小状态顺序采样器无法建立某些形式的隐蔽密码信道,这为防范恶意 LLM 智能体间的潜意识协同提供了潜在安全机制。
针对扩散模型难以擦除"物体-风格"组合概念且多次遗忘请求易致灾难性遗忘的问题,研究者提出域流形遗忘(DMU),利用从扩散中间特征提取的 EMA 更新特征代理表示待保留的目标物体方向,实现对特定物体中域相关组件的选择性遗忘,同时保留其他语义表示。实验显示 DMU 显著缓解灾难性遗忘,在批量遗忘与顺序遗忘上均优于现有 SOTA 方法。
针对工具型智能体鲁棒性测试中"改动后的用例是否仍属同一任务"判定薄弱的问题,研究者提出可执行任务契约,在智能体运行前声明任务定义事实、允许的编辑和完成标准并逐例校验。
研究者提出 LEST 框架,将模型卡与系统卡中的安全声明视为规范,对 LLM 进行黑盒测试。在 Claude Opus 4.8 和 GPT-5.5 的系统卡上,56 条安全声明中仅 29 条(51.8%)可被提示词测试,其中只有 17 条(58.6%)有对应基准提示词覆盖。
研究发现,面对功能与漏洞完全相同但代码写法不同的真实提交,AI 智能体在漏洞分析中的表现差异巨大,该现象在多个代码领域和漏洞类别中一致出现。团队从真实代码提交中挖掘开发模式构建自然变换语料,结果显示仅一种变换形式就能有效"迷惑"前沿智能体,如 Codex 搭配 GPT-6 Sol,降低其漏洞发现成功率。研究还考察了智能体的不同失败模式、变换组合能否提供更强防护,以及试图逆向变换的自适应攻击者。
研究者将 CIMemories 扩展为 CIMEMORIES DIALOGUE,一个基于 Contextual Integrity 理论的 4,410 组双智能体对话基准,并据此评估 Qwen3 与 Llama 3.1 家族的 7 个开源权重模型。结果显示任务能力与隐私泄露根本耦合:能力越强的模型泄露越多,思考型模型比非思考型泄露更多,对话从 1 轮增至 6 轮时泄露最高上升 3 倍。
SharedSAE 为 SDXL 1.0 学习了一个跨四个 U-Net 注意力模块和全部 50 个去噪步共享的稀疏字典,通过块特定低秩输入适配器与时间条件模块吸收时间非平稳性。基于该字典的局部特征抑制将 I2P 检测器阳性子集中 NudeNet 阳性生成数从 139 降至 1。追踪稀疏特征还发现,概念表示在生成过程中从最早的降采样模块向中间及更晚模块重新分布。
针对现有 LLM 路由器只用单一质量指标、难以兼顾普通查询与安全敏感查询的问题,研究者提出 SCRouter,分别预测响应的效用与安全性,并用一个小型探针为每个查询确定两者权重,再结合成本选择模型与 token 预算。
研究团队提出 LR-Guard(Latent Reasoning Guardrail),通过将冻结教师模型对安全与不安全提示词解读的分析蒸馏为紧凑潜在表示,联合训练安全预测与教师显式推理轨迹重建,无需为每次决策生成中间文本即可提供可读解释。
研究构建了基于机制可解释性的五视角检查协议,对四个家族的八个循环语言模型进行分析,区分了提示仅在循环状态内传递的 carry loops(Ouro、LoopUS)与每次迭代重新提供提示的 re-read loops(Parcae、Raven 家族的 Rec-OLMo 和 Huginn)。结果揭示了循环语言模型在安全性和高效使用方面的关键洞察。
前沿实验室用思维链(CoT)监控检测 AI 系统的不当行为,但一项研究证明,即使 CoT 对答案必要,监控失败依然存在,说明"必要/非必要"的二分原则过于粗糙。作者提出四级 CoT 必要性层级,并在三个最低层级上通过干预实验测量可监控性,在困难预测任务上均发现监控失败。在医疗诊断任务中,患者性别和一项临床属性分别影响至少 19% 和 24% 的正确回答,却几乎从未被 CoT 表述出来。