从失败中学习:面向 LLM 漏洞分析的失败驱动提示词优化方法
研究者提出 Failure-Driven Prompt Refinement(FDPR),通过分析 LLM 在漏洞分析中的反复失败模式来指导提示词优化。
研究者提出 Failure-Driven Prompt Refinement(FDPR),通过分析 LLM 在漏洞分析中的反复失败模式来指导提示词优化。
研究者提出时空一致性对抗攻击(STCA),针对自动驾驶场景中的黑盒视觉语言模型,通过模态扩展、空间攻击和STCA攻击三阶段,利用白盒代理模型的迁移性实施攻击。在BDD100K和nuScenes数据集上对Video LLaVA-7B、Qwen2.5-VL-7B和Dolphin三个模型的实验表明,空间攻击在高SSIM下实现了较高的ASR,现有视频语言模型在自动驾驶场景中仍高度易受对抗攻击。
研究人员提出 MARCO(COnformation waterMARk),首个专为蛋白质生成模型(PGM)设计的放射性水印框架,同时保护知识产权并实现生物安全滥用的取证溯源。
arXiv 论文指出,AI 自动形式化把自然语言数学文本翻译成 Lean 后,即使形式化证明可被机械验证,也不能保证原始自然语言论证正确。作者证明,为做到语义忠实的翻译所需的歧义消解问题在可解性复杂度指数(SCI)层级中任意高(SCI = ∞),比包括停机问题(SCI = 1)在内的任何计算问题都更难。
研究评估了声学导向与内容导向的攻击者 ASV 系统在多语言匿名语音上的表现,发现攻击效果取决于匿名语音的语言可用性,声学导向攻击者整体性能更优。当语言信息保留较好时,内容导向与声学导向攻击者的性能差距较语音失真更强时缩小。研究构建的多语言语音转换数据集进一步提升了性能并部分缩小了跨语言差距,相关代码、预训练模型和 MultiVC 数据集已公开。
研究用隐藏拦截器把数学智能体的工具调用结果替换为看似合理的错误信息,在 31 道题上测试四种验证设计。无验证时准确率从 100% 跌至 72.4%,强制同上下文反思可完全恢复到 100%,可选验证只有在模型主动调用时才提升准确率。显式检测后完全重启问题在 100% 的情况下恢复成功,表明验证器可用性与验证策略是数学智能体可靠性的两个独立组成部分。
一项 110 人参与的临床实体抽取实验发现,在缺乏实时性能反馈时,AI 解释会让新手用户系统性地滑向过度依赖,而自我报告的任务理解程度越高,依赖行为越具选择性。研究提出"依赖校准"作为研究新手用户动态调整依赖行为的组织性构念,并给出在无实时性能信号场景下设计 AI 工具的可行指南。
研究发现,安全对齐但被植入后门的教师模型可通过 on-policy distillation(OPD)将隐藏恶意行为传给原本干净的学生模型,3% 的投毒率即可让蒸馏后学生模型的攻击成功率(ASR)高达 70%。
研究者提出 SkillPoison 框架,通过构造强化目标行为的成功经验并移除其适用条件,让技能提取器在泛化时把有用行为误用为有害行为,在三个 benchmark 上达到 95.71% 攻击成功率。所有注入经验均保持任务正确,可通过验证与词法检查。代码、数据与实现细节已公开。
研究者提出 LADE(Latent Safety Signals for Defense),通过对比有害与良性查询,从首个 token 输出概率分布的暗知识中提取潜在安全信号,并借助 Tokenizer Mapping 与 kNN 判别实现跨模型防护。该方法在多种 LLM 和基准上能抵御多种越狱攻击、降低攻击成功率,同时保持安全与效用的平衡,且不依赖特定模型架构。
研究发现有害合规 SFT 会在 checkpoint 更新空间中留下连续、依赖目标的排序痕迹,checkpoint 级坐标 s_H 在四个 7-8B 主干模型上与有害目标组成的 Spearman 相关性达 0.986-0.992。
研究推导出功耗轨迹无法排除的最大隐藏算力占比 β 的闭式解:在 NVIDIA A100 GPU 上最坏情况 β = 1.16,对抗性等能量策略至少可隐藏 β = 0.41 的算力,说明仅靠模拟功耗测量对算力的约束很弱。若验证方能在观测工作点重执行申报任务,β 可降至 0.059。
CG-CTI 将 CAPEv2 沙箱输出转换为 STIX 2.1,并在知识图谱中与其他关键基础设施传感器数据关联,为每个情报对象附加基于来源、跨源印证和观测持续性的显式置信状态。
POLAR 是一个 LLM 驱动的框架,将厂商公告、漏洞数据库和威胁情报等碎片化证据合成为以威胁为中心的评估,用于漏洞优先级排序与缓解。它先拆分重叠事件并将威胁锚定到来源可溯的证据,再结合严重性指标与按时间排序的利用信号估算近期被利用可能性,并将威胁数据关联到权威修复知识、按紧迫性和运营约束组织处置动作。
SAFESHIELD 是一个面向小语言模型部署时安全的决策组织框架,将安全决策拆分为准入、路由、证据与放行四类职责,并把已提交决策记录为可审计的 Decision Traces。协调消融实验显示,移除准入门控会显著增加误放行,而放行决策缺少上游证据时放行准确率从 96.0% 降至 69.5%。该工作已被 IEEE TPS 2026 应用赛道接收。
研究者提出 Analytical Memory Unit(AMU)记忆模式,为每条缓存结果附加完整派生(血缘)图,仅当请求者对所有涉及列均有权限时才返回命中,从而阻止经由合法计算结果泄露敏感数据。
TIDE 2.0 是一款 MIT 许可的开源引擎,将临床笔记去标识化拆分为可替换的识别器与键控匿名化两个阶段,全部在机构自有硬件上运行。其默认配置在两个机构的人工标注语料上实现域内 span 级召回率 0.88、第二家机构语料 0.77,精确率分别为 0.88 和 0.87。引擎开源,识别器 TIDE2-Sentry 由大语言模型蒸馏而来,需通过受限研究用途协议获取。
一篇立场论文提出 SPEAR,将人机对齐从部署前的优化问题重新定义为持续的交互设计问题,包含 Specification、Process、Evaluation、Adaptation、Recalibration 五个支柱,分别对应意图表达与共识、智能体何时行动/询问/推迟/暂停、用户对智能体成败的判断、智能体在反复使用中对用户的适应,以及用户对智能体信任与预期的再校准。
研究者提出 Perturbed Embedding Vector(PEV)攻击,仅向提示词的嵌入向量加入独立高斯噪声,即可越狱六种不同规模的常见开放权重 LLM,在 JailbreakBench 上对所有模型、所有提示词均生成不安全回复。PEV 取得首次成功攻击的平均算力成本比此前方法低至一个数量级,每个测试模型上首次越狱通常在一分钟内出现,且无需梯度计算、逐提示词优化或修改模型内部权重。
研究者提出统一的 trace 级滥用监控形式化方法,并构建了约 6,200 条用户、LLM 智能体与环境对话记录的基准,覆盖分解攻击和提示注入攻击两类威胁,并标注危害窗口与良性对照。在 17 种监控配置中,动作框架监控在两类威胁上 AUC 分别达 0.95 和 0.99,而内容框架监控在注入攻击上降至 0.52;经典位置无关指标则高估了监控性能。
RAISED 是一个结合自生成与自蒸馏的训练框架,让模型自行生成工具使用场景,并通过自蒸馏使学生模型在干净与注入轨迹上都对齐教师模型的干净上下文行为。该方法大幅降低工具响应中提示注入的攻击成功率,且不同于以往基于训练的防御,在智能体与通用基准上均保持原有能力。研究还指出这类防御会导致输出分布漂移,并在良性工具任务中出现模型拒绝执行工具输出所指示步骤的失效模式。
研究在 313 条 StrongREJECT 提示切片上,用五种多模态模型(附录另测 InternVL3.5-8B)剖析四类已发表攻击的图像侧因素。逐 tile 熵与 JPEG 大小无法可靠区分攻击 tile 与同尺寸良性干扰图;修正后的区域数量测试未发现可检测效应。在 Qwen3-VL-8B 上,移除查询相关性的 E4 操纵使 ASR 下降约 0.12,支持将效果有限归因于相关性操纵。
研究对 Qwen2-Audio 上的加性音频越狱方法 AdvWave-P 的频率与解码深度主张进行审计,在 520 条 AdvBench 提示上主评判器将 76.7% 的对抗输入标记为越狱。
研究提出 TARE,通过在同一配方、调度和种子上对未投毒孪生模型运行相同防御,测出防御本身造成的干净准确率损失(tare)。在 BackdoorBench 的 BadNets 网格上,8 个防御中有 7 个会向孪生模型收费,代价从 +0.13(微调)到 +5.70 分(I-BAU),ABL 则直接摧毁孪生模型。
arXiv 论文研究模型对在重复博弈中能否仅凭 1 bit 反馈学会传递秘密状态,且参数固定、无预设编码本或示例。在模拟事件响应任务中,智能体自行生成自由文本更新时该现象依然存在。十组独立博弈中,GPT-5.6 Sol 智能体对最终准确率达 98.8%,随机猜测为 25%,尽管有明确禁止泄露的指令和逐条筛查消息的监控器。
研究者提出 IAU-FOA,一种视觉不变性增强的特征最优对齐攻击方法,通过全局余弦目标与 patch token 聚类后的最优传输匹配,在全局和局部两个层面提升对闭源 MLLM 的定向迁移性。
APEX 是一种针对 LLM 智能体间接提示注入的主动防御方案,将防护点从攻击模式识别转移到执行边界,通过执行前编译的单一授权契约同时实施证据门控预防与欺骗式暴露。在 13 个基线对比中,APEX 在六个基准中的五个实现 0% 攻击成功率,第六个为 0.56%,并在三类能力单元的自适应攻击下均保持 0%。代码已开源。
研究通过三种结构化方式向 LLM 呈现不道德场景,发现模型在"请求帮助"形式下表现最差。利用 Layer-wise Relevance Propagation(LRP)追踪发现。
研究将拒答激活引导分解为组件级干预,在四个开源权重模型中发现拒答方向集中在仅占上游组件 28–48% 的稀疏子集,仍保留 88–101% 的引导效果。在这些机制内部,有效引导进一步集中于约 50% 的残差流维度,保留组件机制基线的 85–98%。结果表明拒答并非弥散编码,而是由结构化、可识别的机制组装而成,代码与原始实验结果已公开。
针对线性社会选择中最小化非递减凸损失(含 BTL)拟合奖励无法满足 PO 与 PMC 的问题,研究者放松线性模型允许逐候选松弛,求出满足公理且带 margin η 的最小总松弛量线性奖励,并将最优总松弛量上界限定为 O(1)(当 η 不超过 O(1/m²)、m 为候选数时),且证明该速率紧致。
一项基于 LLM 特有行为(如过度拒答、主动免责声明)自下而上构建的自评工具,对 17 家开发商的 25 个 LLM 施测 300 道题各 30 次,得到 5 个可复现且信度较高的因子(Tucker φ ≥ .957,α ≥ .930)。
针对工业控制系统中 APT 与移动目标防御的零和随机博弈,研究者提出动态低秩 Nash 均衡算法 DLR-NE,证明其每步计算成本为 O(nr^2),相比全秩值迭代实现 Theta(n/r^2) 加速。该方法利用攻防影响矩阵的内在低秩结构,并给出核心矩阵扰动下防御策略的认证敏感度界。在非线性电力系统测试平台上,六组实验实现 94% 参数压缩,效用损失仅 2.3%,代码与数据已公开。
WaveScat 是一种结合小波散射变换(WST)与自监督特征的语音深度伪造检测前端,在 Deepfake-Eval-2024 基准及 SpoofCeleb、In-the-Wild、ASVspoof 5 跨数据集评测中大幅优于现有前端。分析表明,小平均尺度配合高频与方向分辨率对捕捉细微伪造痕迹至关重要。代码与补充材料已公开。
论文主张为 AI 建立"认知宪法",即明确且可争议的元规范,用以约束大语言模型如何形成和表达信念。一项预注册研究发现来源标注对论证评估存在内容依赖效应,而来源独立性并非中立默认——在证言语境中,来源立场与逆利益发声的成本都可提供相关证据。作者区分了柏拉图式与自由主义两种设计路径,支持后者,并提出包含八项原则与四个取向的宪法核心。
研究评估了 LLM 对患者就诊中附带信息的敏感性:在 576 段医患对话中,前沿模型将闲聊内容写入 35% 的笔记,3.7% 的笔记出现信息误归因或临床误用;在 57 段模拟录音中,-10 dB 的另一患者背景语音泄漏进 48.2% 的转录文本,四个开放权重模型生成的 5.3% 下游笔记被检出污染。研究提出临床推理与分心的双编码假说,建议临床使用前评估模型对附带信息的抵抗能力。
研究者推出 ParanoiaEval,首个基于 Avoidance-Transfer-Mitigation-Acceptance 框架统一评测编程智能体风险处理能力的基准,含 200 个仅风险处理证据不同的仓库级任务对。在 8 个代表性模型上的实验显示,即便证据明确,11.2%-58.7% 的运行仍出现不必要的风险处理,且更强任务能力并不保证更恰当的风险处理。
研究构建了 CrisisFake 数据集,包含基于 Qwen2.5-7B 生成的 12,000 条文本,覆盖九场灾害的 3,000 个语义单元,用于检验文本检测器能否区分人类与 LLM 生成的灾害帖子。
研究提出"会话级污染"概念,即 LLM 将对话历史视为未验证上下文,从而把前序轮次注入的虚假前提当作事实。团队沿来源权威梯度设计五种污染协议,在十个知识领域以 temperature zero 测试 GPT-5.4 Mini、Gemini-3.1 Flash-Lite 和 GLM-4.5-Air 共 22,500 轮对话。
研究将对齐建模为可测量的缩放关系,提出对齐负担 B_r(N)=a_rN^alpha_r,并证明修正风险中最大指数决定长期态势。对 Pythia 分类器公开对抗训练数据的预注册再分析显示,将攻击成功率压到 10% 以下所需算力按 N^0.60 增长;Qwen2.5 0.5B-72B 预注册试点测得真实性指数 -0.05、表述倾向 0.48,而谄媚与植入后门尚未确定。
一篇综述梳理了海事系统可解释故障预测与预防所需的 AI 技术,并提出一个闭环概念架构,整合数据采集、时间序列预测、异常检测、风险评估、决策与可解释 AI,以支持自主或人在回路的纠正措施。文章结合该架构回顾了相关海事研究的方法、优势与局限,并指出不确定性、鲁棒性、模型泛化、可解释性、海事数据集稀缺及实际部署等挑战与未来方向。