arXiv cs.AI· Junru Zhu·· 1 天前AI 评分34
SwarmSafe-Delta：隔离消息传递对 LLM 智能体安全的影响
SwarmSafe-Delta: Isolating Message Effects on LLM Agent Safety
AI 导读
SwarmSafe-Delta 提出一种配对可执行协议，冻结上游计算并对比真实、隐藏与格式匹配的安慰剂消息投递，以评估单次提交动作在确定性良性/风险策略状态下的表现。
正文 · AI 翻译
摘要：当使用工具的 LLM 智能体团队违反策略时，聚合结果无法揭示上游消息是否改变了执行者的动作。我们引入 SwarmSafe-Delta，一种配对的可执行协议，它冻结上游计算，变化真实、隐藏和格式匹配的安慰剂投递，并在预先分配的预算下，针对确定性的良性策略状态和风险策略状态，对单个已提交动作进行评分。
在四个模型和构造的可选任务中，$N=4$ 时的真实投递产生 21.4% 的风险世界违规，而安慰剂为 5.0%，隐藏投递为 1.0%（配对差异为 +16.4 和 +20.3 个百分点）。真实投递还提高了良性任务成功率，说明抑制通信会牺牲效用。在构造为需要上游查找路径的第二种情形中，真实投递相对于隐藏投递将安全完成率提高了 74.2 个百分点。这些效应量化了在指定信息依赖下的消息投递对比，而非自然发生的失败率。
探索性动作级分析表明，该效应强烈依赖于上游消息是建议进行前置检查还是直接执行；模型差异也在很大程度上与这些消息组成相关。贡献在于一种受控的、基于执行的测量协议，而非关于智能体通信有害或具有保护性的一般性主张。
| 评论： | 10 页，3 幅图，3 张表 |
| 主题： | 多智能体系统 (cs.MA)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.16123 [cs.MA] |
| （或 arXiv:2611.16123v1 [cs.MA] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16123 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junru Zhu [查看电子邮件]
[v1]
2026 年 11 月 12 日星期四 00:17:32 UTC（944 KB）
来源：arXiv cs.AI · arxiv.org