arXiv cs.AI· Junming Chen, Junyang Jiang, Xu Chen, Zibo Liang, Kai Zheng·· 3 天前AI 评分35
DBA-Bench：面向 LLM 数据库运维智能体的生产级保真基准
DBA-Bench: A Production-Fidelity Benchmark for LLM-Based Database Operations Agents
AI 导读
DBA-Bench 是一个面向 LLM 数据库运维智能体的生产级保真基准，在真实 PostgreSQL 与分布式 TiDB 环境中评估智能体，覆盖 5 个运维域的 231 个有界场景和 10 个持续场景。评测包含 4 个前沿基础模型、2 个开放权重模型和 2 个 GPT-5.5 驱动的数据库智能体，结果显示智能体能定位根因却无法恢复运维目标，即使恢复目标，执行动作也可能违反安全约束。
正文 · AI 翻译
摘要：基于 LLM 的数据库智能体展现出前景，但任务范围、测试平台和成功标准的差异阻碍了直接比较。共享基准还必须保留决定诊断与修复在实践中能否成功的运行条件。我们提出 DBA-Bench，以运行真实性、结果优先评估和受控场景可复现性为指导。它在具有活跃工作负载、有状态行为和多源观测的实时 PostgreSQL 和分布式 TiDB 部署中评估智能体。成功需要在不违反安全约束的情况下满足特定场景的运行目标。主要评估涵盖五个运行领域的 231 个有界场景，而 10 个持续场景将评估扩展到跨交互事件的持续运行。我们评估了八个自动化基线，包括四个前沿基础模型、两个开放权重模型和两个由 GPT-5.5 支持的数据库智能体。我们的评估揭示了两个数据库系统中诊断、有效修复和安全执行之间的差距。智能体可以识别根本原因，却无法恢复运行目标。即使目标得以恢复，所执行的操作也可能违反安全约束。持续场景暴露了清除单个障碍与维持业务服务之间的差距：智能体使相互竞争的工作负载缺乏协调，并且在后续变更后未检查先前已完成的修复。
| 评论： | 15 页，9 张图，4 张表 |
| 主题： | 数据库（cs.DB）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.22165 [cs.DB] |
| （或 arXiv:2607.22165v2 [cs.DB] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.22165 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junming Chen [查看电子邮件]
[v1]
2026 年 7 月 24 日星期五 10:11:24 UTC（1,135 KB）
[v2]
2026 年 10 月 10 日星期六 10:57:03 UTC（2,416 KB）
来源：arXiv cs.AI · arxiv.org