密歇根大学发布开源基准 CloudOpsBench 1.0，评测 AI 智能体云运维能力
CloudOpsBench 开源基准发布：推理是 AI 云运维的最大瓶颈
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0，用 45 个 AWS 任务评测 AI 智能体的云运维能力，最佳模型 Claude Fable 5.1 仅完成 60%，GPT-6 Astra 为 53%。
The Decoder：AI 新闻· Maximilian Schreiner·2026-11-05 00:42· 1 小时前AI 评分41
新的开源基准显示，推理是 AI 在云运维中最大的瓶颈
AI 导读
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0，用 45 个 AWS 任务评测 AI 智能体的云运维能力，最佳模型 Claude Fable 5.1 仅完成 60%，GPT-6 Astra 为 53%。
正文 · 原文
2026年11月4日
CloudOpsBench 是一个新的开源基准，用于衡量 AI 智能体在云中处理典型 DevOps 任务的能力，涵盖修复服务、删除资源、限制访问权限、推出更新以及停用项目等。1.0 版本包含 45 个 AWS 任务，由经验丰富的 DevOps 工程师构建。
即便是最好的模型也在许多任务上失败。Claude Fable 5.1 解决了 60%，GPT-6 Astra 完成了 53%。据密歇根大学 Ang Chen 领导的团队称，主要问题不是缺乏知识，而是推理。约 80% 的失败源于智能体误判任务范围、未检查所有相关服务或过早停止。约 20% 的错误是错误操作，其中一些会对基础设施造成不可逆的后果。
所有任务在真实 AWS 云和模拟器中以相同方式运行。针对 GCP、Azure 和 OCI 的扩展已在计划中。GitHub 上的项目采用 Apache 2.0 许可，同时还提供了一份详细的失败分析。
没有炒作的 AI 新闻——由人工精选
订阅 THE DECODER，享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。
来源：The Decoder：AI 新闻 · the-decoder.com
来源：RadarAI · aihot.news