arXiv cs.AI· Saimon Amanuel Tsegai (Daphne), Alex Kantchelian (Daphne), Danfeng (Daphne), Yao, Peng Gao·· 9 天前AI 评分28
从调查失败到可靠的 SOC 智能体：理解并改进基于 LLM 的告警分诊
From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage
AI 导读
研究构建了 ALERT-BENCH 交互式基准，通过实时 SIEM 回放企业遥测，测试单次工具调用、迭代检索、采样调查、自审与显式验证五类 LLM 智能体方法；在 1,247 条多阶段攻击告警中，所有方法至少漏报 40.4% 的攻击相关告警。
正文 · AI 翻译
摘要：安全运营中心（SOC）必须对大量告警进行分诊，其中大多数是良性的，而漏掉的攻击可能未被调查。使用工具的大语言模型（LLM）智能体可以在分诊过程中检索证据，但推理策略如何决定收集什么证据以及何时调查足以关闭告警，仍不清楚。我们研究了五种代表性方法，涵盖单次工具使用、迭代检索、采样调查、自我审查和显式验证。为支持这项研究，我们构建了 ALERT-BENCH，一个交互式基准，通过实时 SIEM 回放企业遥测数据，并要求每个系统检索证据。在多阶段攻击场景的 1,247 条告警中，每种方法都至少漏掉了 40.4% 的攻击相关告警。轨迹分析表明，当搜索未返回记录时，攻击告警更可能被驳回；同上下文审查具有负的净纠正效果；且驳回并未获得比升级始终更强有力的调查。基于这些发现，我们进一步设计了 AIDA（对抗性调查与辩证分析），一个多智能体框架，要求在独立质疑之前提出明确的拟议决策，并在驳回之前提出更强的证据要求。AIDA 将调查历史保存在仅追加的调查账本中，并将质疑保持在单独的推理上下文中。单独的 Judge 根据证据对拟议决策和质疑进行裁决，解决告警或在证据缺失时请求进行另一轮。在相同的告警上，AIDA 的 F1 分数达到 0.958，而所研究方法为 0.371-0.744，并将假阴性率从 40.4% 降至 3.1%，同时将 18.4% 的告警升级给分析师。这些结果表明，结构化证据检索和决策审查可以显著改善智能体 SOC 分诊。
| 评论： | 预印本 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.10608 [cs.CR] |
| （或 arXiv:2610.10608v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10608 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Saimon Amanuel Tsegai [查看电子邮件]
[v1]
2026年10月7日星期三 03:20:51 UTC（991 KB）
来源：arXiv cs.AI · arxiv.org