arXiv cs.MA· Diego Gosmar, Deborah A. Dahl·· 10 小时前AI 评分31
Sentinel Agents：为多智能体系统构建安全可信的智能体 AI 防护层
Sentinel Agents for Secure and Trustworthy Agentic AI in Multi-Agent Systems
AI 导读
论文提出 Sentinel Agents，一种监控 LLM 多智能体系统内部通信的专用安全层，通过规则检查、行为分析和 LLM 语义审查识别恶意或错误消息，并向 Coordinator Agent 报告以执行隔离等策略。
正文 · AI 翻译
摘要：基于大语言模型（LLM）构建的多智能体系统（MAS）日益共享同一个对话空间，其中单条对抗性或错误消息可能从一个智能体传播到多个智能体。本文提出 Sentinel Agents，这是一个专用的安全层，通过基于规则的检查、行为分析和基于 LLM 的语义检查来监控智能体间通信，并向负责执行策略的 Coordinator Agent 报告，例如隔离行为异常的智能体。我们描述了该架构、其部署模式和监控层，并在一个包含 1,000 条合成消息的平衡语料库（五个类别共 500 条攻击消息和 500 条良性消息）上，使用两个本地 LLM 评估了一个持续监听原型。使用 Gemma 4 12B 进行 LLM 检查在假阳性率为 0.11 时达到 F1 0.86，而仅使用规则时为 0.38。通过逻辑或组合各组件并未带来提升，而仅让高精度规则独立生效的级联方式则达到了同等效果。在开发集上校准更保守的 Qwen3 8B 的阈值后，其留出集 F1 从 0.56 提升到 0.80；在多轮对话中，行为检查检测到了规则遗漏的模式，但无法区分合法重复与探测行为。因此，组合检测器的价值取决于模型、其校准以及聚合规则，这些结果为部署 Sentinel Agents 提供了实用指导。
| 评论： | 23 页，11 幅图。v2：v1 的初步评估被替换为在包含 1,000 条消息的平衡语料库上的新评估，包括消融、本地 LLM 基准测试、聚合与校准分析；论文结构已重构；参考文献已更新 |
| 主题： | 人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2509.14956 [cs.AI] |
| （或此版本的 arXiv:2509.14956v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2509.14956 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Diego Gosmar [查看邮箱]
[v1]
2025 年 9 月 18 日星期四 13:39:59 UTC（2,000 KB）
[v2]
2026 年 11 月 5 日星期四 17:05:56 UTC（2,018 KB）
来源：arXiv cs.MA · arxiv.org