arXiv cs.AI· Shaswata Mitra, Raj Patel, Subash Neupane, Sudip Mittal, Md Rayhanur Rahman, Shahram Rahimi·· 10 天前AI 评分31
规则止于何处，裁判始于何处：测量多智能体系统安全中的判断边界
Where Rules End and Judges Begin: Measuring the Judgment Boundary in Multi-Agent Systems Security
AI 导读
研究将 LLM 多智能体系统（MAS）的防御组织为五项原则并实现为 DEFER1，包含 28 项检查级联，能拦截的拦截、其余交给四人裁判小组。在四个领域的独立测试中，攻击成功率从约 30.0% 降至约 3.0%，78% 被拦截的攻击由确定性检查处理；在安全运营领域仅四分之一提案到达裁判。风险评分审批门会错误批准多数攻击提案、却只批准少数合法提案。
正文 · AI 翻译
摘要：基于 LLM 的多智能体系统（MAS）会调用工具、共享记忆并委派任务，常常会遇到对抗性内容。目前针对 MAS 的防御通常是在孤立环境下评估的，一次只关注一种攻击类型，这可能导致成本高昂且难以审计的结果。本研究将防御归纳为五项原则，并将其实现为 DEFER1（确定性优先执行与残余判断，DEterministic-First Enforcement with Residual judgment），其中包含一个由 28 项检查组成的级联流程，能拦截的即拦截，其余则交由一个由四名评判者组成的小组处理。在四个领域的独立测试中，攻击成功率从约 30.0% 降至约 3.0%，其中 78% 被拦截的攻击由确定性检查处理。在安全运营领域，只有四分之一的提案会到达评判者，这表明规则为违反明确策略的攻击提供了安全保障，而评判者则处理那些仅歪曲意图的攻击。两个系统都存在弱点，例如风险评分审批门会不准确地批准大多数攻击提案，却只批准极少数合法提案，这凸显了准确评估威胁所面临的挑战。
| Comments: | 26 页，20 张图，24 张表 |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL）；密码学与安全（cs.CR）；多智能体系统（cs.MA） |
| Cite as: | arXiv:2610.07657 [cs.AI] |
| （或使用 arXiv:2610.07657v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.07657 arXiv 颁发的 DOI，通过 DataCite（待注册） |
Submission history
From: Shaswata Mitra [view email]
[v1]
Tue, 6 Oct 2026 02:52:51 UTC (255 KB)
来源：arXiv cs.AI · arxiv.org