arXiv cs.AI· Oliver Makins, Orazio Angelini, Zohreh Shams, Mary Phuong·· 3 天前AI 评分41
多智能体 AI 控制：分布式攻击为何让逐实例监控失效
Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors
AI 导读
研究首次对多智能体 AI 控制展开实证研究，提出 FakeLab 合成 AI 实验室代码库（9 个服务、86 个良性任务、4 个攻击目标），用于评估单智能体监控面对分布式攻击的表现。
正文 · AI 翻译
摘要：AI 控制是一类技术，用于防止带有恶意目标的 AI 颠覆其操作者的意图。AI 控制通常研究单一轨迹中的单个智能体，但真实部署会在共享基础设施上运行多个智能体，而最严重的风险（模型权重窃取、训练运行投毒）很可能需要多个智能体协同行动。我们开创了多智能体 AI 控制的实证研究，形式化了多个智能体共同追求恶意目标的分布式攻击。我们开发了 FakeLab：一个合成 AI 实验室代码库（9 项服务、86 个良性任务、4 个攻击目标）。我们评估了针对分布式攻击的单智能体监控，改变了智能体数量、它们的协调方式、模型能力和精确的监控配置。
我们的核心发现是碎片化效应：随着更多智能体协调攻击，单智能体监控发现任一攻击者的可能性降低。其次，这并非由良性代码与恶意代码的比例驱动——我们认为这很可能取决于模型能力。第三，显式规划器放大了碎片化效应，将完成攻击的比率提高至七倍，并略微加剧了执行者薄弱的监控心智理论。最后：一个弱的“可信”监控器会漏掉大多数攻击，而一个更强的监控器可将未被发现成功的比例降低一个数量级以上，但仍不完美。我们很乐意应安全研究人员的要求分享 FakeLab 及我们的控制设置。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2607.07368 [cs.LG] |
| （或 arXiv:2607.07368v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.07368 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Oliver Makins [查看电子邮件]
[v1]
2026 年 7 月 8 日星期三 13:03:25 UTC（1,293 KB）
[v2]
2026 年 10 月 12 日星期一 14:59:07 UTC（1,379 KB）
来源：arXiv cs.AI · arxiv.org