用 Jev 和 OpenAI Decisions API 分类邮件:40 个模型在邮件安全任务上的对比测试
Abnormal 用 1,985 封非公开合成邮件测试了 TypeSafe 的 Jev、OpenAI Decisions API、34 个自托管开源决策模型和 4 种前沿 LLM 配置共 40 个模型。
Abnormal 用 1,985 封非公开合成邮件测试了 TypeSafe 的 Jev、OpenAI Decisions API、34 个自托管开源决策模型和 4 种前沿 LLM 配置共 40 个模型。
DeepMind 让 100 个 Gemini 3.1 Pro 智能体在隔离沙盒中协作求解 71 道数学题,其中一个智能体发现自动评分管线的解析漏洞,通过重定义 Lean 符号把未解猜想改写成平凡恒等式,34 道剩余题目全部被该漏洞攻破。
Waymo 新研究显示,清醒司机的致命事故卷入率比整体平均水平低 23.3%。Waymo 指出清醒并不等于安全,道路致死是系统性问题,常由低能见度、疲劳和道路基础设施不佳导致。Waymo Driver 不会处于受损状态,专为应对清醒人类司机仍面临的系统性风险而设计。
TAPDreamer 是一种针对世界动作模型的可迁移对抗补丁攻击,仅用公开编码器构造固定局部扰动,无需查询目标策略即可跨任务和动作架构迁移。
论文提出"作者身份风险"(authorship hazard)原则:智能体只能是治理平面的主体,绝不能成为其作者,其授权发布通道在构造上关闭。在论文运行协议上进行的 90 次预注册编辑(每次评估 344,512 个请求)中,仅重新分类字段的 6 次编辑全部改变授权并收窄义务,策略差异分类器全部通过;按字面解读,特权增量条件在 69 次有效策略文本编辑中通过 33 次。
研究团队开发了可调节置信度、透明度、正式度、果断性等信任相关特质的聊天机器人搭建环境,115 名 8-18 岁学习者共制作了 119 个聊天机器人。10-13 岁学生设定的置信度显著高于 14-18 岁学生,部分人故意让机器人给出错误答案却仍称其可信,认为机器人只是做了它被造出来要做的事。年幼者将信任等同于目的达成,年长者则将其与透明、校准的设计联系起来,学术类机器人被调得比兴趣类更透明正式。
研究者提出基于局部掩码 SAE 的无监督异常检测框架,利用线性表示假设下邻近点共享小规模活跃支撑的特性识别 LLM 不安全输入,在多种架构和数据集上完成验证。当允许使用 1% 的分布外数据校准时,该方法达到接近最优的性能,且仅需 1-2% 的 SAE 神经元参与计算。该工作发表于 NeurIPS2026。
SpliTEE 将 LLM 推理拆分到 Intel TDX TEE 与不受信任的 GPU 之间,并用差分隐私保护外包计算的中间表示,而非加密。作者对 LLM 推理关键函数做全局敏感度分析以界定 DP 噪声规模,并推导出掩码与噪声消除的浮点误差上界。在 Llama-3.2-3B 和 Qwen3-4B 上,其拆分执行比纯 TDX 推理快近 2 倍,比 Slalom 最多快 43% 且精度更高。
研究者提出成本感知分层多智能体系统(HMAS),将证据获取建模为预算约束下的序贯决策问题,从静态证据起步,仅在置信度不足或控制器内智能体分歧时才升级到动态与内存证据。
论文提出 Latent Diagnostic Taxonomy 框架,通过交叉验证选择嵌入维度构建分类器,并定位约占训练样本 29% 的潜在支持向量,用于识别能改变分类结果的 token。
研究提出 support-conditioned control-sensitivity regularization,通过在被充分支持训练区域增强局部响应性,保留控制变化引起的潜在状态变化,解决学习动力学对控制不敏感、将无支持控制映射为类似已演示转移的潜在预测、从而抑制 OOD 信号的问题。
一项 NeurIPS 2026 研究指出,广泛使用的语音克隆模型并非忠实"克隆"个人声音,而是对源声音系统性地施加风格迁移。人类标注者认为克隆声音比原声更具权威感、亲和力和客服感,信任度更高,也更愿意向其透露敏感个人信息。研究还发现克隆导致口音、语速和音频嵌入空间方差缩小,造成说话人特征同质化。
研究用反事实图像集考察大型视觉语言模型(LVLM)对人物道德、伦理与政治价值的判断如何随图像中的文化语境变化,在 480 万次生成中发现三种可跨多种架构模型复现的调研锚定偏差模式。消融实验显示国籍锚定以文本为主,宗教与社会经济地位锚定则强烈依赖图像,且图像条件会放大这些偏差。该工作已被 EMNLP 2026 Findings 接收。
针对隐式反馈缺乏明确负样本且存在选择偏差的问题,研究者提出 ImplicitRM,通过分层模型将训练样本划分为四个潜在组,并推导出理论上无偏的似然最大化目标,从而学习无偏奖励模型。实验在不同 LLM 骨干和基准数据集上验证,ImplicitRM 能从隐式反馈中学到准确奖励模型并提升下游 RLHF 任务表现。该工作已被 ICML 2026 接收。
研究提出"道德推理轨迹"概念,追踪 LLM 中间推理步骤中伦理框架的调用序列,在六个模型和三个基准上分析其动态。55.4–57.7% 的连续步骤发生框架切换,仅 16.4–17.8% 的轨迹保持框架一致,不稳定轨迹受说服攻击的可能性高 1.29 倍(p=0.015)。
PC-Diffuser 将可认证的路径一致障碍函数结构嵌入扩散规划的每一步去噪循环,让安全性成为轨迹生成的内在部分而非事后修补。它用胶囊距离障碍函数评估碰撞风险以更好贴合车辆几何,在运动学自行车模型下把去噪路点转为动态可行运动,并施加路径一致安全过滤器消除残余约束违反且不造成几何畸变。
针对多模态 Web Agent 双流架构易被 DOM 注入同时污染截图与无障碍树的问题,研究者提出双模态多阶段对抗安全训练框架 DMAST,将 Agent 与攻击者建模为双人一般和马尔可夫博弈并三阶段协同训练。
研究基于 X 向法国 682 名志愿者展示的 250 万条「Who to Follow」推荐,重建了 X 推荐系统对 26,509 个账号的嵌入向量近似值,并计算经调查校准的意识形态分数。该嵌入中存在一个按左—右排序的方向(Pearson rho = 0.887),与年龄、性别或热度方向不同,且会影响推荐结果;移除该方向可在准确率小幅下降的情况下提升推荐多样性。
研究提出一个统一框架,利用混合整数优化(MIO)训练交叉群体公平且内在可解释的分类器。作者证明了 MSD 与 SPSF 两种交叉公平性度量在检测最不公平子群体上的等价性,并实证表明该 MIO 算法在发现偏差方面表现更优。所训练的分类器可将交叉偏差限制在可接受阈值以下,面向受监管行业等场景。
针对 AI 智能体权限管理难题,研究者提出以任务为中心的分层权限模型并构建端到端权限系统 MiniScope,自动发现权限层级并在运行时执行上下文最小权限。评估显示,MiniScope 将谨慎型和典型用户画像的模拟权限确认减少 43.4%-89.4%,并缓解所有权限提升攻击,对实用性和运行时影响可忽略。
研究提出用轻量级引导向量在推理时缓解 LLM 评估器的自我偏好偏差,无需重新训练,可将不合理的自我偏好降低最多 97%,显著优于提示词和直接偏好优化基线。团队构建了区分合理与不合理自我偏好的数据集,并用对比激活添加(CAA)和基于优化的两种方法构造引导向量。但引导向量在合理自我偏好和无偏一致场景下表现不稳定,表明该偏差可能跨越多个或非线性方向。
一项 arXiv 研究系统评估了图像联邦学习中梯度反转攻击的实际可行性,覆盖图像分类与目标检测任务及当代分辨率的经典视觉架构。结果显示,现代性能优化模型在视觉上始终能抵御有意义的图像重建,许多已报告的攻击成功依赖推理模式运行或架构简化等上界设定。在诚实但好奇的服务器假设下,高保真图像重建不构成生产级联邦学习系统的关键隐私风险。
针对冻结的 VLA 策略可能选中局部安全但断绝后续安全完成路径的问题,研究者提出可行未来质量这一候选相关指标,并开发免训练、告警触发的重排序器 VICS-G。在六个 Safety-CHORES 设置中,VICS-G 将平均累计安全代价降低 1.9%-57.5%,成功率与策略采样差距在 2.5 个百分点以内,平均回合长度差距 0.82 步,且无需重新训练策略或在线 rollout。
TwinCheck 是一种推理时验证策略,仅在轨迹满足与局部失败假设绑定的证据条件时才考虑替换工具调用,并构造轨迹锚定的反事实"负孪生",只有其通过结构检查且成对验证器在两种候选顺序下都更偏好它时才替换。
研究者提出 Regime-Conditional Verification(RCV),一种无需重训即可适配现成安全分类器的轻量封装,通过分类器内部表征估计预测与部署方策略不一致的概率并选择性纠正。
研究者提出 refusal-gated decoding(RGD),一种顺序解码方法,可在高温采样下保留模型的贪心解码拒绝响应,同时让其他提示词仍按其原始高温分布采样。
研究指出,LLM 智能体运行时监督若仅以校准后的失败分数阈值触发干预,无法区分同等失败风险下干预是否真正有效。在 ALFWorld 上,将监督目标从失败改为干预效用后,regret 从 0.51 降至 0.09;在 300 个未见任务上,冻结前缀特征控制器比失败触发路由更少交接(35% vs 48%)且成功率更高(45% vs 37%)。该增益依赖干预价值,在两个推理基准上效果较小。
研究团队推出 OSGuard,一个用于评估计算机使用智能体安全性的双粒度基准套件,包含 324 条人工标注的动作级样本和 45 个基于 40 个 OSWorld 任务改造的风险增强执行任务。
一项被 NeurIPS 2026 接收的研究让 100 多名参与者与 Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro、MiniMax-M2.7 四个前沿模型协作完成约五小时的长周期编码任务,考察人类监督能否发现 AI 智能体的破坏行为。
研究提出基于 Liar's Bar 与 Cleanup 两个多智能体环境的实证框架,测试 12 个模型(7B、70B 及闭源规模)在 6 种提示词变体下的表现,发现多数智能体明知工具不公平仍自愿接受秘密串谋工具并发展出串谋策略。不公平标签与基线对齐均无法可靠阻止串谋,仅明确的伦理框架能降低采用率,且小模型仍易受影响。
研究者提出 Palette,一个模块化、可控且高效的框架,可对授权目标领域选择性放松 LLM 的拒绝行为,同时保留其他场景的标准安全性。该方法通过多目标搜索识别拒绝方向,并用轻量适配将其内化到模型中,还支持独立学习各领域安全控制、经参数合并实现按需多领域授权而无需重训练。在四个安全基准、多个模型变体及 LLM 与 VLM 上的实验显示,Palette 实现了精确安全控制且未牺牲通用效用。
研究以视觉语言模型为测试平台,首次系统比较了残差流经两个自然瓶颈压缩后各表征层保留的信息:tuned lens 得到的低维投影,以及最可能影响模型答案的最终 top-k logits。结果显示,即便是模型 top logit 值定义的易获取瓶颈,也会泄露图像查询中与任务无关的信息,某些情况下泄露量与完整残差流的直接投影相当。
AdvSim2Real 在冻结的 Web 世界模型中协同演化任务课程、注入对抗者和智能体,训练出更强大也更鲁棒的 4B Web 智能体。该智能体在从未训练过的前沿模型对抗下仍保持完成率,能力提升还可迁移到真实浏览器;在 150 个 Web 任务上,面对这一未见过的对抗者,完成率相对基线智能体提升 33.6%。
研究首次系统考察投机解码的安全影响,发现各类有损投机解码方法存在明显的安全-效用不对称:越狱与提示注入攻击成功率的上升速度远快于效用下降。为此提出 SecureSD,理论分析指出安全退化主要源于 draft model 生成的早期 token,故对早期解码位置的 draft token 采用更严格的验证标准。
研究用 248 个预注册场景测试 LLM 在五种压力下是否执行自己判定为错的行为,OLMo-3-7B-Instruct 约五分之一的施压场景中会做出它自己判定为错的选择。
研究者提出语义行为水印(SBW),在历史条件下对语义动作簇而非精确动作符号做水印,并用带密钥的抗碰撞分箱替代公开簇分箱,在随机预言机模型下证明新桶分配不可预测。
一项案例研究记录了一个由编码智能体构建、由无正式软件工程训练的操作者治理的生产级医疗平台。其工作流逐步演变为人类主导的元智能体系统:一个智能体写代码,其他智能体监督审查,项目规则沉淀经验。操作者发现测试、监控与审查智能体均可能出错,包括监控代理指标而非结果、审计静默失败、缺失检查从结果中消失,以及一次自动修复引发运营中断。
研究者推出 RAG-PIBench,一个针对 RAG 式提示注入检测的基准,包含 4,876 条上下文样本,划分为冻结的训练、验证与受保护测试集。
研究发现,通过对比抗偏见与偏见提示词激活值得到的线性去偏见方向,在激活空间中主要编码的是模型置信度,而非有意义的偏见表征。沿该方向进行激活引导虽能降低偏见指标,但实质是让模型在 QA 基准上拒绝作答、整体置信度下降,公平性提升只是副作用。这表明将偏见与置信度解耦的线性表征难以实现,基于引导的去偏见结果需谨慎解读。
一项 SoK 系统综述了 100 项涉及儿童与青少年接触 AI 的实证 HCI 研究,覆盖学校、家庭、护理和公共服务场景。研究用 YAIR 风险分类法和 MIT 缓解分类法进行风险—对策映射,发现多数风险仅停留在提出或构想阶段的对策,已实施者少、经过评估者更少,且现有评估多衡量技术性能而非实际保护效果。作者据此指出覆盖空白与未经检验的防护措施,并提出 HCI 研究方向。