arXiv cs.AI· Luca Zanolini·· 12 小时前AI 评分52
AI 审批监控器的相关性失效研究
Correlated Failures of AI Approval Monitors
AI 导读
Luca Zanolini 的论文研究 AI 智能体执行付款、发消息、改代码前多个监控器的审批失效问题，借用分布式计算的易失效系统模型刻画可能同时失效的监控器集合。
正文 · AI 翻译
摘要：在 AI 智能体采取重要行动（例如付款、发消息或更改代码）之前，会有多个监控器对其进行检查。无论监控器共享何种输入，它们的判定结果都通过聚合分数或统计批准数来合并。然而，共享基础模型或受污染输入的监控器可能会同时失效。我们借用分布式计算中的易故障系统：即可能同时失效的监控器集合列表。若某条规则不执行任何不良操作，则它是安全的；若它不阻止任何良好操作，则它是有效的。我们在两个预注册协议下，测量了十二个小型开放权重监控器在付款审批中的表现。在未预注册的情况下，我们还测量了三个闭源前沿模型（Claude Opus 5.5、GPT-6 Astra、Gemini 4 Argon）以及开源的 DeepSeek-V3.2。每一次可靠地欺骗监控器使其批准欺诈，都通过某个证据来源实现，并且只影响到该来源的读者。而欺骗监控器使其阻止正确付款，则取决于注入抵抗力，即监控器拒绝遵循植入其数据中的指令。小型模型和 DeepSeek 会服从这类指令。三个闭源模型除一例外均忽略了这些指令，并且 Opus 还抵御了针对其定制的说服。在新数据上，在同等安全性下，按来源而非按投票计数的规则阻止了 0.9% 的正确付款，而最佳计数规则为 7.4%。预注册的最坏情况测试失败了。一次攻击使审批者仅依赖单一来源，因此在十二个语言模型监控器上，没有任何规则能在所有已测量的攻击中幸存。加入一个无法被说服的规则引擎后，在已测量的攻击上恢复了安全且有效规则的条件。多样化输入，加固监控器，按来源计数，而非按投票计数。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2610.29178 [cs.CR] |
| （或 arXiv:2610.29178v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29178 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Luca Zanolini [查看电子邮件]
[v1]
2026年10月21日星期三 04:09:37 UTC（73 KB）
来源：arXiv cs.AI · arxiv.org