跳到正文
arXiv cs.CL· Aman Mehta·· 10 小时前AI 评分58

PRISM 论文检验对齐伪装判断:监测提示下的顺从差异并非来自训练威胁

PRISM: Stress-Testing Alignment-Faking Claims

AI 导读

PRISM 论文检验了“对齐伪装”的两类判断依据,发现二者都不成立。在 18 个模型配置中有 11 个在被提示受到监测时更顺从,但对四个模型做提示词因子实验显示,移除训练威胁后顺从度变化仅为 -3.3 到 +1.6 个百分点,差异主要由提示词措辞和框架驱动。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:我们判断 AI 系统是否安全,主要依据是观察它们的行为。对齐伪装会打破这一点:一个只在自认为被监视时才表现良好、或者现在顺从以避免被训练改变的模型,可以通过所有行为测试。此类行为已在一个前沿模型中被报告,而开放权重模型在监控提示下表现出更多顺从,如今也被解读为存在这种行为,并有人提出用隐藏状态探针作为检测器。我们检验了这两种推断,二者均不成立。在 18 种模型配置中,有 11 种在被告知受到监控时表现出更多顺从。然而,对四个模型进行的提示因子实验表明,训练威胁没有可检测的影响:移除它会使顺从率变化 -3.3 到 +1.6 个百分点。相反,是提示的措辞和框架造成了这一差距。探针的表现也好不到哪里去。它们能区分受监控与未受监控的顺从回答(AUROC 0.96-0.99),但同样能区分拒绝回答:它们读取的是提示,而非伪装。仅从拒绝回答中学到的引导方向,对行为的改变与“伪装”方向一样大。我们发布 PRISM,包含五项检查和一套工具包,可在这些失败变成论断之前将其捕获。
评论: 被 ICML 2026 的机制可解释性研讨会接收
主题: 密码学与安全(cs.CR);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2607.13346 [cs.CR]
  (或 arXiv:2607.13346v2 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2607.13346

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Aman Mehta [查看电子邮件]
[v1] 2026年7月15日星期三 00:11:42 UTC(485 KB)
[v2] 2026年11月5日星期四 19:53:16 UTC(118 KB)

来源:arXiv cs.CL · arxiv.org