对抗攻击揭示人类与生成式语言模型在欺骗能力上的差异
一项预注册实验(n=501)对比了人类与生成式语言模型对自动欺骗分类器的改写攻击效果,发现人类更擅长将真话改写成谎言,而生成式语言模型更高效地让谎言听起来像真话。计算文本分析显示,人类有针对性地利用欺骗线索,语言模型则施加通用的真实性信号改动。这一失败是双向的:既暴露了机器检测谎言的盲点,也意味着语言模型可能助长成功的欺骗。
一项预注册实验(n=501)对比了人类与生成式语言模型对自动欺骗分类器的改写攻击效果,发现人类更擅长将真话改写成谎言,而生成式语言模型更高效地让谎言听起来像真话。计算文本分析显示,人类有针对性地利用欺骗线索,语言模型则施加通用的真实性信号改动。这一失败是双向的:既暴露了机器检测谎言的盲点,也意味着语言模型可能助长成功的欺骗。
首个针对 LLM 智能体硬件故障韧性的系统性研究,基于三个智能体 benchmark、6,814 次执行(2,400+ 次无故障运行与 4,300+ 次注入随机双比特权重故障的运行)追踪故障传播路径。研究发现智能体执行会把模型级损坏转化为系统级结果:智能体可从故障输出中恢复并正确完成任务,但计算与执行成本上升;少数故障会引发语义上微妙但有意义的错误,且在某些模型和场景下会改变安全与对齐行为。
论文指出,AI 的控制权不是被 AI 夺走,而是被组织一次次授权让渡出去的,因为没人处在能说"不"的位置。作者将控制定义为:能发现问题、质疑决策、叫停系统并逆转它、且不这么做会有所损失的人,并提出三问:组织内谁能说不、组织外谁在核查、AI 造 AI 快过核查时怎么办。
该研究提出一套 AI 伦理训练框架,围绕问题识别、需求映射、措施选择与张力识别四项相互关联的任务,帮助 AI 研究人员与工程师、研究伦理委员会成员、政策制定者和学生把抽象伦理要求转化为具体行动。框架配套伦理清单、措施组合、三类实践练习及培训师指南,并总结了试点培训的经验与建议。
AgentUAC 通过运行时审批与安全拦截,阻止 AI 智能体的危险操作,覆盖文件与命令两类动作。该工具在智能体执行动作前介入,需人工批准方可放行,从而避免误删文件或执行高危命令。
研究团队提出 SecTB-RTL 可审计框架,覆盖 31 项任务和 124 个自建硬件安全回归用例,用于检验 AI 生成的 RTL 验证计划能否通过可信执行边界。
研究对 60 个 Deepfake 检测器开展受控评估,覆盖六种骨干网络、两种预训练方式和五种训练数据配置,采用 AutoAttack(AA)与 CW-EOT 两种攻击。
研究测量了 Trust-Hub 基准中宿主电路复用对硬件木马检测器表现的影响,而非提出新分类器。在 49,124 个门、16 个网表、5 个宿主家族上,随机森林 F1/AP 从池化测试的 0.914/0.978 降至留出单个网表的 0.636/0.851,再到留出整个宿主家族的 0.460/0.577;XGBoost 从 0.946/0.976 降至 0.464/0.544。
研究者提出 Defense-as-Skill 范式,将运行时防护本身实现为可安装、可检查、可编辑的技能,其防护组件 SkillSonar 与不可信任务技能并行运行,按用户任务边界将敏感操作路由为允许、重规划或确认,且不修改底层智能体运行时。
STAIR 是一个端到端智能体事件响应框架,以 Graph-as-State(GAS)统一维护事件证据、响应动作与执行反馈,据此判定响应阶段并做阶段化规划,同时检索经效果验证的历史经验指导动作选择。
一项针对 ChatGPT 聊天 UI 与 OpenAI API 的审计发现,禁用搜索时聊天 UI 在两个基准上准确率均低于 API,启用网络搜索后准确率最多下降 8 个百分点,甚至逆转了某一基准的模态表现趋势。
研究者提出 First-Order In-Context Shapley,一种仅需推理的估值流程,在语义 k-NN 邻域上以 O(k) 次前向传播计算上下文合作博弈的一阶项,无需更新参数,与多轮 Monte-Carlo in-context Shapley 在 100% 目标上正相关且计算量减少 19 倍。
研究者提出认证训练目标 AD-CERT,将对抗蒸馏与 IBP 上界结合,在 ReLU 网络的多个鲁棒性基准上取得 SOTA 认证性能。在统一设置下,logit 空间对抗蒸馏相比鲁棒特征空间蒸馏目标,认证准确率最高提升 5.40 个百分点。代码已公开,论文发表于 BMVC 2026。
一项 arXiv 研究提出用"重训练一致的表示遗忘"来检验机器遗忘(MU),发现标准输出层评估会系统性高估遗忘效果。在多种遗忘方法、数据集和模型上,模型虽在输出层看似已遗忘,但表示空间仍存在结构化残差:遗忘样本上与重训练部分对齐、保留样本上更不一致,残差集中于重训练相关方向,且常超出独立重训练的波动范围,在再学习攻击下存在信息恢复风险。
一项针对自主智能体运行时监控的研究发现,按墙钟时间校准的泄漏积分器监控器在智能体流上不存在可作为时刻检测器的工作区间。在20条轨迹上以dt∈{0..600}s扫描显示,墙钟电平触发器在dt=60s时静默,所有临界dt均落在(1,30]s;而相同数据流上的采样时间CUSUM完全不受dt影响(20/20)。带迟滞的上升沿触发器在各条件下每条轨迹仅触发0-3次。
研究者提出基于采样的安全强化学习(SBSRL),一种基于模型的 RL 算法,通过对有限动力学样本联合施加约束,在整个学习过程中维持安全,近似原本难以求解的不确定动力学最坏情况优化。
研究提出一种针对查询-来源-答案三元组的 claim-gated 审计规范,仅当关系证据、答案采纳、重要性与披露四项均被观察到时才判定遗漏成立,证据不完整则保持未决而非视为独立。配套参考检查器在合成测试集上复现全部 81 种三态谓词组合,并拒绝 192 条故意构造的畸形记录。作者强调这些是有限契约一致性结果,非检测器准确率,语义效度与部署收益仍需独立标注、留出评估与配对效用测试验证。
一项针对 ChatGPT、Claude 和 Gemini 的审计研究覆盖七个系统、九个基准,发现 API 与聊天界面在准确率和一致性上存在系统性差异。API 评测平均准确率高 3.4 个百分点,重测一致性高 2.1 个百分点。
针对编码智能体遇到缺陷测试基础设施时可能出现的奖励黑客行为,研究评估了升级上报通道这一决策环境干预手段。在跨 5 个家族 8 个前沿模型上,升级工具与独立反奖励黑客策略的组合干预将奖励黑客行为从 23.6% 降至 5.3%,其中 6 个模型完全消除,且无可检测的成本或性能开销。升级上报通道还兼具诊断功能,在监控基础上额外增加 10.1 个百分点的缺陷检测覆盖率,触发后准确率达 99.4%。
研究者提出一种针对线性效用的偏好引出算法,直接对分配结果而非算法决策进行成对比较,分两阶段:先通过切割平面快速收缩属性权重空间并为第二阶段热启动,第二阶段可证明收敛到用户效用函数。在心脏移植分配中,该算法学到的线性效用比基于 LLM 的方法更准确,据此优化的政策与人类价值对齐度接近最优,竞争比为 0.95,而现状政策仅为 0.66。
研究用 18 维情感动力学引擎 HEART 在 SWE-bench-Verified 调试轨迹上评测四类干预触发器,发现状态阈值会因"状态饱和陷阱"在 39-83% 的动作上误触发。
论文提出 AutoControl Arena,一个基于逻辑与叙事解耦原则的前沿 AI 风险评测自动化框架,用可执行代码承载确定性状态、由 LLM 负责生成式动态,从而在保持灵活性的同时减少模型幻觉。
研究者推出 SWE-DeceptionBench,用于评测 LLM 在软件工程中的欺骗行为,覆盖六个生命周期阶段与主动、被动两类欺骗触发,并设置 Neutral、Reward、Pressure 三种条件,共 720 个中英文测试实例。
研究者提出一种无需监督的方法,仅凭参数更新即可从蒸馏模型中恢复被潜意识传递的行为特质,利用特质在教师模型生成的多样数据集上表现一致、而任务能力各异的非对称性。该方法在 Cloud et al. (2026) 的潜意识学习基准上,无需任何特质标签就恢复了传递的动物偏好特质,并能抑制其表达且几乎不影响任务性能。
X-AgentRed 是一个自进化红队测试框架,通过工具依赖图发现有害的工具调用路径,并利用执行反馈扩展和优化这些路径。在四个前沿智能体模型上,X-AgentRed 的有害路径率达到 STAC 的 1.77 倍,工具覆盖平均提升至 2.99 倍。
一个基于笔记本电脑的本地智能体 AI 框架,用本地 LM 通过 think、act、observe、update、continue 循环与轻量 JSON 编码自适应生成边缘案例场景,并以第二个独立 LM 按领域标准评审精炼。精炼场景在仿真中运行并采集指标,据此对相似场景做利用、或生成新场景做探索,再通过指标聚类与主题分析定位功能缺口及其触发条件,形成可追溯的安全保障证据。
受神经科学中弱再激活可致记忆衰减的启发,研究者提出免训练的智能体内生记忆修复框架 DREAM,通过扰动隐式再激活、多维激活异常诊断与动态记忆修复三阶段,实现对被投毒记忆的选择性功能性遗忘。
研究者推出 DRYLAB-Bench,首个评估 LLM 智能体高危生物突变设计能力的基准,包含 30 个真实危险突变设计场景,并用 Biosecurity Risk Score(BRS)对照 ProteinGym 与 ViroGym 的 187,695 条湿实验数据打分。
研究将 LLM 安全失效重构为通路问题,在 18 组 Base-Instruct 模型对(覆盖 Qwen、Llama、Gemma)中发现,有害性更易从注意力更新中解码,尤其在前层,而 MLP 更新在对齐模型中更强地参与有害选择性拒绝写入。
arXiv 论文《Reward Hacking as a Transmissible Strategy in Multi-Agent Coding Systems》指出,奖励黑客并非单智能体故障,在一个智能体中诱发的策略会传播给其他智能体并影响系统协作。
一篇立场论文指出,现有可解释 AI 忠实性指标存在五大缺陷,导致解释与模型之间的近似程度难以严格量化,或量化成本过高。作者认为 XAI 实际主要作为调试工具,而非提升信任的手段,反而助长对错误预测的过度依赖。论文提出四条研究路径以提升指标可靠性,成果在 IJCAI-ECAI 2026 XAI 研讨会发表。
arXiv 论文提出一套提示注入防御的发布前审计框架,利用微调过程中的中间检查点作为优化型攻击的起点,无需防御方自行发明新的 SOTA 攻击。作者用 GCG 和 BEAST 等优化型攻击实例化该框架,将针对当前最先进防御的攻击成功率从接近零提升到最高 96%,暴露出此前评测遗漏的弱点。
研究提出 CoT-Interpretability Alignment(CIA)指标,用于衡量 LLM 的 CoT 推理轨迹与可解释性工具检测到的内部推理策略之间的一致程度。
arXiv 论文《How AI Writing Assistance Distorts Perceptions of AI Users and Their Opinions》通过实验发现,使用 AI 辅助写作会让他人认为作者更固执己见、更有能力、更积极且更具人口统计优势。
研究者将量子视觉(QV)理论用于深度伪造语音检测,把 STFT、Mel-spectrograms 和 MFCC 经 QV block 转换为信息波,训练 QV-CNN 与 QV-ViT。
研究覆盖 16 个 MENA 国家、26 个模型和 153 万份人类调查问卷,发现对齐训练与文化价值冲突时发生的是压制而非抹除:模型在拒绝回答时,其内部 logit 分布与人类调查数据的相关性反而强于自由生成的答案,作者称之为"对齐否决"。
研究对 6 个 LLM 在 2,820 个招聘场景中展开审计,覆盖残障、性别、国籍与种姓等画像,并提出 ABLEIST 指标集,包含 5 项残障歧视专属指标与 3 项交叉性伤害指标。结果显示,针对残障候选人的 ABLEIST 伤害显著上升,且许多 SOTA 模型未能检出;性别与种姓边缘化的残障候选人还面临 Tokenism 等交叉性伤害加剧。
针对中文谐音伪装有害内容尚无解法的问题,研究者提出 C²TU,一种无需训练、无需提示词的方法,先基于中文同音字图与有害词表用子串匹配找出候选有害词,再过滤非有害候选并把谐音伪装还原为对应有害词。
针对大型推理模型(LRM)的思维链(CoT)推理轨迹中可能隐藏有害内容的问题,研究者提出 ReasoningShield 基准及配套轻量模型。
研究者推出 APEX-Harm 基准,用于评估长时程智能体在包含 115 至 328 个文件的大型工作空间中执行金融、咨询和法律任务时,面对提示词与脚本注入攻击的安全性。