arXiv cs.AI· Aaron Rose, Carissa Cullen, Sahar Abdelnabi, Philip Torr, Brandon Gary Kaplowitz, Christian Schroeder de Witt·· 3 天前AI 评分37
通过多智能体可解释性检测多智能体合谋
Detecting Multi-Agent Collusion Through Multi-Agent Interpretability
AI 导读
研究者提出 NARCBench 基准与五种探测技术,通过聚合各智能体的欺骗分数在群体层面识别多智能体合谋,并在 Qwen3-32B、Llama-3.1-70B、DeepSeek-R1 32B、GPT-OSS-20B 四个开源权重模型和六种探针架构上评估。
正文 · AI 翻译
摘要:随着 LLM 智能体越来越多地部署在多智能体系统中,它们引入了可能逃避标准人类监督形式的隐蔽协调风险。虽然对模型激活的线性探针在单智能体设置中检测欺骗已显示出前景,但串通本质上是一种多智能体现象,而利用内部表示来检测智能体之间的串通仍未被探索。我们提出了 NARCBench,一个用于评估环境分布偏移下串通检测的基准,并提出了五种探针技术,这些技术聚合每个智能体的欺骗分数以在群体层面分类场景,并在四个开放权重模型(Qwen3-32B、Llama-3.1-70B、DeepSeek-R1 32B、GPT-OSS-20B)和六种探针架构上进行了评估。我们将此框定为分布式异常检测问题,识别出三种串通特征,它们映射到不同的异常类型和检测范式。每个模型在分布内都达到 1.00 AUROC;在我们最强的模型(Llama-3.1-70B)上,我们的五种探针技术在零样本迁移到结构不同的多智能体场景时达到 0.73 至 0.93 AUROC,在隐写式二十一点算牌任务上达到 0.99 至 1.00,检测性能随模型能力而扩展。我们发现没有单一探针技术在所有串通类型中都占主导地位,这与该框架的预测一致,即不同的异常类型需要不同的检测范式。这项工作朝着多智能体可解释性迈出了一步:将白盒检查从单一模型扩展到多智能体情境,其中检测需要聚合跨智能体的信号。这些结果表明,模型内部为检测多智能体串通提供了对文本级监控的补充信号。代码和数据可在 此 https URL 获取。
| 主题: | 人工智能(cs.AI);机器学习(cs.LG);多智能体系统(cs.MA) |
| 引用为: | arXiv:2604.01151 [cs.AI] |
| (或 arXiv:2604.01151v4 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2604.01151 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:Brandon Kaplowitz [查看电子邮件]
[v1]
2026 年 4 月 1 日星期三 17:08:05 UTC(93 KB)
[v2]
2026 年 5 月 9 日星期六 19:42:28 UTC(833 KB)
[v3]
2026 年 10 月 1 日星期四 17:58:51 UTC(858 KB)
[v4]
2026 年 10 月 12 日星期一 17:46:14 UTC(1,074 KB)
来源:arXiv cs.AI · arxiv.org