arXiv cs.AI· Valerii Iakovlev, Markus Spanring, Martin Flechl·· 3 天前AI 评分27
SLS-Bench：基于合成可观测性数据的事件日志摘要基准
SLS-Bench: A Benchmark for Incident Log Summarization with Synthetic Observability Data
AI 导读
研究者推出 SLS-Bench，一个面向事件日志摘要的基准，包含 90 个基于真实事件报告的任务，每个任务配有合成日志流和参考摘要。其数据生成管线将事件报告转为结构化事件模型，结合叙事锚定、生成器-验证器循环及与真实日志流的统计对比，生成逼真可控的可观测性数据。对 14 个 LLM 的评测显示，前沿模型能生成有用摘要但成本与延迟高，开放权重模型明显落后。
正文 · AI 翻译
摘要：随着 IT 系统日益复杂，自动化智能体驱动的事件响应变得愈发关键。这些智能体的一项关键能力是将大规模日志流总结为人类可读的报告。进一步的发展需要对该功能进行有意义的评估，然而由于收集真实世界数据的成本高昂且过程复杂，现有基准对大规模日志流的端到端摘要任务探索不足。我们提出了 SLS-Bench，一个面向事件日志摘要的基准，包含 90 个基于真实事件报告的任务，每个任务都配有一个合成日志流和一个参考摘要。为构建 SLS-Bench，我们开发了一条数据生成流水线，将事件报告转换为结构化的事件模型，用以指导合成日志和参考摘要的生成。该流水线结合了叙事接地、显式事件建模、生成器-验证器循环，以及与真实日志流的统计比较，从而生成逼真且可控的可观测性数据。我们在 SLS-Bench 上对 14 个 LLM 的评估表明，虽然前沿模型能够生成有用的摘要，但其成本和延迟都很高，而开放权重模型则明显落后。SLS-Bench 为系统评估日志分析智能体提供了一个框架，也为未来的合成可观测性基准提供了一份可扩展的蓝图。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16412 [cs.AI] |
| （或使用 arXiv:2610.16412v1 [cs.AI] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.16412 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Valerii Iakovlev [查看电子邮件]
[v1]
2026年10月12日星期一 08:46:35 UTC（2,105 KB）
来源：arXiv cs.AI · arxiv.org