开源基准 CloudOpsBench 发布：推理是 AI 云运维的最大瓶颈

CloudOpsBench 是一个新的开源基准，用于衡量 AI 智能体在云中处理典型 DevOps 任务的能力，从修复服务、删除资源到限制访问权限、推出更新以及停用项目。1.0 版本包含 AWS 上的 45 项任务，由经验丰富的 DevOps 工程师构建。

即使是最好的模型也在许多任务上失败。Claude Fable 5.1 解决了 60%，GPT-6 Astra 完成了 53%。根据密歇根大学 Ang Chen 领导的团队的说法，主要问题不是缺乏知识，而是推理。约 80% 的失败是因为智能体误判任务范围、没有检查所有相关服务，或过早停止。大约 20% 的错误是错误操作，其中一些会对基础设施造成不可逆的后果。

没有模型能完成所有任务，而且在大多数情况下瓶颈在于推理。| 图片：CloudOpsBench

所有任务在真实 AWS 云和模拟器中以相同方式运行。计划推出针对 GCP、Azure 和 OCI 的扩展。GitHub 上的项目采用 Apache 2.0 许可，还提供了一份详细的失败分析。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻简报、每年六次独家“AI Radar”前沿报告、完整档案访问以及评论区访问权限。