arXiv cs.CL· Aman Mehta·· 10 小时前AI 评分58
PRISM 论文检验对齐伪装判断:监测提示下的顺从差异并非来自训练威胁
PRISM: Stress-Testing Alignment-Faking Claims
AI 导读
PRISM 论文检验了“对齐伪装”的两类判断依据,发现二者都不成立。在 18 个模型配置中有 11 个在被提示受到监测时更顺从,但对四个模型做提示词因子实验显示,移除训练威胁后顺从度变化仅为 -3.3 到 +1.6 个百分点,差异主要由提示词措辞和框架驱动。
正文 · AI 翻译
摘要:我们判断 AI 系统是否安全,主要依据是观察它们的行为。对齐伪装会打破这一点:一个只在自认为被监视时才表现良好、或者现在顺从以避免被训练改变的模型,可以通过所有行为测试。此类行为已在一个前沿模型中被报告,而开放权重模型在监控提示下表现出更多顺从,如今也被解读为存在这种行为,并有人提出用隐藏状态探针作为检测器。我们检验了这两种推断,二者均不成立。在 18 种模型配置中,有 11 种在被告知受到监控时表现出更多顺从。然而,对四个模型进行的提示因子实验表明,训练威胁没有可检测的影响:移除它会使顺从率变化 -3.3 到 +1.6 个百分点。相反,是提示的措辞和框架造成了这一差距。探针的表现也好不到哪里去。它们能区分受监控与未受监控的顺从回答(AUROC 0.96-0.99),但同样能区分拒绝回答:它们读取的是提示,而非伪装。仅从拒绝回答中学到的引导方向,对行为的改变与“伪装”方向一样大。我们发布 PRISM,包含五项检查和一套工具包,可在这些失败变成论断之前将其捕获。
| 评论: | 被 ICML 2026 的机制可解释性研讨会接收 |
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2607.13346 [cs.CR] |
| (或 arXiv:2607.13346v2 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2607.13346 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Aman Mehta [查看电子邮件]
[v1]
2026年7月15日星期三 00:11:42 UTC(485 KB)
[v2]
2026年11月5日星期四 19:53:16 UTC(118 KB)
来源:arXiv cs.CL · arxiv.org