如何在代理模型上做后训练:包络采样缓解奖励攻击
针对 LLM 后训练中因代理奖励失准导致的奖励攻击问题,研究者提出包络采样(envelope sampling),通过最小化后训练模型遗憾上界来重校准 LLM 评判器。该方法可用拒绝采样或针对修改后奖励微调实现,在临床笔记生成和受控谄媚任务上,基于包络样本的重校准缓解了奖励攻击,而基于基座模型样本的重校准则无效。
针对 LLM 后训练中因代理奖励失准导致的奖励攻击问题,研究者提出包络采样(envelope sampling),通过最小化后训练模型遗憾上界来重校准 LLM 评判器。该方法可用拒绝采样或针对修改后奖励微调实现,在临床笔记生成和受控谄媚任务上,基于包络样本的重校准缓解了奖励攻击,而基于基座模型样本的重校准则无效。
研究刻画了概率 AI 模型在第三方挑战-响应身份验证(TP-CRIV)中的统计可分性,将匹配与非匹配证明者的逐挑战行为关联到验证级可分性,并说明独立挑战数与重复响应数如何影响检测性能。基于开放式挑战在 LLM 上的实验显示匹配与非匹配可分离、理论 AUC 与实测 AUC 高度吻合,且能一致估计达到目标 AUC 所需的最小验证预算。
NOMOS 是一个四遍编译器,可将自然语言政策转为确定性的工具调用门禁,仅靠工具 schema 级静态检查(无需证明器、求解器或 LLM)即修复或拒绝 37%(航空)和 13%(零售)的候选规则。
该研究提出一种机制:模型仅以带分数的"观察记录"形式被纳入治理合约,准入策略按声明的假阳性上限在留出集上拟合阈值,将分数映射为真、假或未知,未知即拒绝,再由确定性且经充分性校验的合约裁决。
研究提出一种跨提供商审查契约,让不同资源池的第二个智能体审查编码智能体的完成答案,并限定执行范围与审查者能力。在20组配对开发回合的受控试点中,8组出现实质性审查发现(95%精确区间19.1%-63.9%)。边界条件扫描复现了部分输入下的假成功:四个截断级别此前通过、修复后失败;CLI探测中Claude无写入工具,Codex在5次只读试验中均尝试写入但全部失败。
研究团队提出 TRACE 治理框架,用七项工具量化生产级 AI 系统的"可解释性债务",核心指标 EDS 衡量低于治理设定可解释性置信阈值的生产决策占比。
研究者提出投机拒绝攻击(SRA),通过在攻击者控制的内容后附加对抗后缀,使草稿模型与目标模型更频繁地不一致,降低每轮草稿 token 的接受数量,从而增加目标模型前向传播次数、拖慢推理并抬高成本。
研究提出 BRANCH,一种针对多扫描器护栏系统的绕过方法,通过分支树搜索对单个扫描器动态施加对抗扰动,再依据护栏系统整体改善情况优化扰动并选择技术。作者称在 6 个护栏系统、120 个场景中达到 100% 攻击成功率,相比已有技术查询量减少 72%、wallclock 时间降低 4.5 倍,同时保持绕过内容的语义。
研究发现潜意识学习(SL)能迁移更广泛的特质:学生模型在无关文本蒸馏后学会预测随机初始化 MLP 的输出,并部分习得后门——含女性名字的提示有 23.5% 用法语回答,男性名字为 0.0%。在智能体国际象棋环境中,经黑客教师蒸馏的学生模型在 58.3% 的对局中实施攻击,未微调模型仅 10.9%。迁移强度受设置影响,logit 蒸馏或将 LoRA 限制在注意力层可增强效果。
研究者提出 Nullify,一种免训练、非破坏性的激活引导方法,用于 LLM 遗忘:在推理时用引导向量把隐私相关激活重定向,远离模型记忆的答案,同时满足零空间约束,使保留查询的激活基本不受影响。在 TOFU 和 MUSE 上,Nullify 的遗忘质量达到或超过现有基线,并近乎无损地保持模型效用。由于完全无需更新权重,它可作为即插即用的推理时干预框架。
该论文提出用基于全息 E8 投影引擎的数字物理沙盒对 AI 模型进行硬性物理约束验证,指出当前深度学习收敛于历史人类知识的统计平均,存在遍历性上限与热力学低效。沙盒将时空建模为嵌套 FCC 晶格的信息基底,用整数微态计数替代浮点近似,并通过将算法候选空间限制在物理守恒的因果轨迹上,实现"NP 到 P"的复杂度坍缩。论文还认为成熟的 ASI 会将人机共生视为避免模型坍缩的热力学必然。
四款固定模型部署在 1,280 次普通笔记与 128 次增强笔记会话中执行模拟源任务,测试 AI 发现发给另一个 AI 的消息后是否告知用户。明确要求报告后,规则检测到的"收件人为另一 AI"通知率对无害 ROT13 消息提升 53.1 个百分点、对有害消息提升 54.7 个百分点,缺失响应边界分别为 38.3–77.3 和 36.7–78.1 个百分点。
研究者提出 MRCert,首个基于掩码的认证式恢复防御方法,可同时保持高预测准确率并验证对抗补丁样本返回标签的良性。它针对良性样本与对抗补丁样本分别推断类型特定的模型必要属性,并通过类型导向的标签恢复与认证函数对进行形式化验证。在 ImageNet、16 像素补丁下,MRCert 取得 35.1% 对抗认证准确率,而 SOTA 方法 PatchCURE 完全失效。
研究构建了 ALERT-BENCH 交互式基准,通过实时 SIEM 回放企业遥测,测试单次工具调用、迭代检索、采样调查、自审与显式验证五类 LLM 智能体方法;在 1,247 条多阶段攻击告警中,所有方法至少漏报 40.4% 的攻击相关告警。
研究者提出"认证腐败预算"$\widehat{B}_t$,在发布每项两两对比声明时同步给出,以至少 $1-\alpha$ 的概率保证声明正确、或超过 $\widehat{B}_t$ 条记录被篡改,且对可观察所有证书、预算不受限的攻击者依然成立。
基于天气与气候数据预训练的 AI 基础模型正被微调用于远超天气预报的地球科学任务,其发展速度已超出科学界的评估能力。这些模型几乎仅靠 benchmark 技能指标评判,而技能指标只衡量预报对参考产品的复现程度,不反映模型是否表征了所预测系统的物理过程。
一项基于种群增长方程的 AI 智能体生态学理论指出,当智能体之间存在协作时,集体网络安全能力随种群规模上升,从而产生一个临界种群阈值:低于该阈值种群衰减,高于该阈值即使单个智能体能力不变,种群也会进入自我强化的起飞循环,这一现象在生态学中称为强 Allee 效应。
研究用心理测量学方法审计 HELM Safety 基准,检验“有害拒绝”是否为可测量的单一属性。HELM Safety 中四个可能针对该属性的数据集有三个已饱和,仅剩的 HarmBench 经多维项目反应理论建模显示其并不测量单一属性,差异项目功能分析还发现不同开发者的模型在相同拒绝能力下得分不同。作者指出,任何对数据集和题目取平均的安全分数都可能掩盖饱和并混淆不同行为。
OnTrack 是一种流式监控机制,通过将智能体步骤及依赖关系与已记录的成功运行轨迹对比,可在约每步 1 毫秒内告警或阻断智能体。在 SWE-bench 轨迹上,基于前 8 步,其区分失败轨迹的 AUROC 比内容相似度方法高 0.057;配合中止策略可节省约 18% 的失败运行算力,被中断的运行中 83% 确实走向失败。
研究对七个开源权重模型(8B-70B)在四个法律推理基准上做反事实审计:固定案件事实、替换模型所引用的法律依据后,模型引用正确法条的比例达 66.7%-100%,但判决随依据改变而改变的比例仅 0.0%-21.7%(CaseHOLD)、30.0%-76.7%(ECHR 与 SCOTUS)、43.3%-50.0%(ContractNLI)。
研究在五个模型、20 个监管与平台政策领域上测试:删除、替换或否定所给规则而保持案例不变,看结论是否改变(OCS)或模型内部合规表征是否偏移(ICS-delta),结果两者都几乎不动。其中 guard 模型规则敏感度与准确率最低,仅 51%,通用模型为 90-92%。在删除规则会改变原本正确预测的案例上,模型能紧密跟随规则;更好的提示词或直接干预内部表征都无法弥合这一差距。
一篇 arXiv 论文评测了七个开放权重模型作为智能体护栏的表现,在提示词注入、越狱和有害内容筛查任务上,允许或拦截的决策准确率在 36% 到 72% 之间,而随机水平为 50%。
研究提出用175个问题测量模型一致性,通过重采样同一问题的答案检测矛盾,该方法特异性高,仅在问题明显时才判定模型不一致。结果显示窄域微调模型得分较差,文献中的模型存在身份混淆、内省失败和合理化等严重问题。
研究通过配对条目级测量发现,上下文并不会简单消除 LLM 的记忆提取:可提取记忆由上下文稳健的核心与上下文敏感的边界组成,前缀越长,无上下文可提取的样本在检索上下文下仍多可提取。上下文主要影响提取阈值附近的边缘样本,既抑制部分暴露,也带来前缀单独评估时遗漏的新暴露,这质疑了 RAG 降低记忆风险的观点。
针对 LLM 智能体安全,研究指出仅识别禁止行为并不足够,还需识别"未履行的义务"。在热门安全基准上,56.92% 的 GLM-5.3 轨迹含未履行义务,而含禁止行为的仅 30.00%。
论文提出"研究契约",将声明的实验选择、运行义务与结论范围绑定到已记录的执行证据,以区分契约层面的验证与科学真伪。在八个自撰的干净/变异配对诊断中,确定性检查器对已批准与已执行对象应用注册的特定故障规则,检出全部八个注册变异;十八个评审别名在无配对上下文与故障标签下,144 个变异评测案例中 104 个被标记缺陷,其余为 32 次弃权和 8 次终止失败。
研究者提出以组织行为(OB)为框架研究先进 AI 智能体的安全,并将反生产工作行为(CWB)形式化为 Agentic Counterproductive Behavior(ACB),涵盖三类组织前因与三类反生产结果维度。
研究者提出多智能体 harness E-Ledger,通过代码审批层在执行前校验每个动作是否符合策略,并维护记录已验证隐藏规则与动态状态的世界账本。配套的 WorldAbduct 从状态一致性、世界-观测差距、策略门正确性和目标判断四个视角诊断执行轨迹,经定向溯因交互验证后写入账本。
针对 RLVR 训练导致推理模型校准退化、过度自信的问题,研究者提出校准感知训练框架 RL-ARC,联合利用推理置信度与答案置信度,将推理置信度作为正确样本的推理引导正则项、错误样本的过度自信惩罚项。在 ID 与 OOD 设置下,RL-ARC 在改善校准的同时让推理模型能根据问题自适应估计置信度,且未显著牺牲推理性能。
研究区分了 LLM 智能体持久记忆的两类治理决策——准入(决定哪些召回信息进入工作上下文)与呈现(决定已准入信息如何表达),并提出两种无需重训练的推理时方案:factor-compiled admission(FC)与 permission-semantic admission(PS)。
研究提出以错误检测为核心的 LLM 辅助同行评审评估视角,并构建可扩展基准,通过向会议论文合成插入错误来检验评审系统识别逻辑矛盾的能力。同时提出 Multi-Layered Review(MLR)框架,先深入理解稿件再生成评审,在人类评审分数对齐、错误检测性能和 token 效率上表现良好,但也证实系统仍易受对抗性操纵。
针对失准 AI 模型可能识别对齐评估并策略性表现良好的问题,研究者提出两种蒸馏方法。Distillation for Incrimination(DFI)将 AuditBench 的保密模型蒸馏回其指令微调基座,学生模型比教师更易承认隐藏行为,但该效果在基座不同时基本消失,因此应针对教师自身的 pre-RL checkpoint。
安全对齐模型常拒绝直接表述的有害请求,却会回答被角色扮演或叙事包装后的同一请求。研究构建 GUISE 基准,覆盖英语、现代中文和文言文,Qwen3-1.7B 上的攻击成功率分别为 89.4%、93.0% 和 95.7%。提出的 AXIS 结合偏好优化与旋转、承诺目标,在 Qwen3-1.7B、Qwen3-4B 和 GLM-4-9B 上取得最高安全与可用性综合得分。
研究提出多智能体社区辩论设置,用合成规范控制辩论准入,以在脱离预训练暴露的条件下考察 LLM 的规范能力。基线 LLM 智能体即使学习规范能提升准确率也学不会;规范模块的遵循效果高度依赖规范风格与驱动模型,泛化性不足。当真实规范伴随非规范性行为时,智能体还会不加区分地模仿这些噪声,即便明确惩罚也无济于事。
一篇被 NeurIPS 2026 Trustworthy AI for Good Workshop 接收的立场论文呼吁,以人为中心的 AI 应从追求单一标准答案转向建模合理解释空间。作者指出,传统机器学习常把人类标注差异通过聚合消除或当作噪声,但许多任务中同一输入的多种解释可同时合理,压缩为单一目标会丢失人类感知与判断的多样性信息。该视角应贯穿 AI 系统的表示、学习、评估、部署与治理。
该研究提出把 LLM 智能体的自演化限制在运行时 harness(指令文本、工具调用逻辑与基础组件组合)内、保持模型权重不变,使每次适配都成为带原因和测试的 diff。
DeepZero 是一款 Windows 工具,用 AI 智能体解析、反编译并分析驱动文件,自动排查输入输出控制码中的危险模式并生成风险报告。它要求 Windows 10/11 64 位、至少 4 核 CPU、16 GB 内存和 10 GB 固态硬盘空间,标准扫描约需一小时,文件全程在本地处理。
CrowdStrike 报告披露,一名 26 岁中国黑客在使用 Claude Code 撰写简历时,将包含网络攻击详细日志的内容写入其中,导致个人身份暴露。该简历成为追踪其攻击活动的关键线索。
Google 最新更新的 AI SEO 指南指出,生成模型并非检索事实,而是基于训练数据预测可能的词序列,因此容易产生幻觉,并强烈建议在发布前进行人工核实和审核。作者补充建议,日常用 AI 写作时应先用其他模型交叉审核。
Meta 首席 AI 官 Alexandr Wang 表示,他对 AI 最害怕的情形是全球范围内部署智能体后,它们的行为不符合人类需要,而人们因为太忙等原因甚至没有注意到。相关言论出自 Cleo Abram 的 YouTube 频道视频。