跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 2 小时前AI 评分64

CMU 发布 Singularity-Bench:Opus 5.5 搭配 Claude Code 得分 1.25 领先 11 个智能体

CMU 论文 Singularity-Bench:Opus 5.5 + Claude Code 得分 1.25 领先 11 个智能体

AI 导读

CMU 等机构于 11 月 12 日发布 arXiv 论文 Singularity-Bench,让智能体完成预训练、推理引擎、集群编排等 6 项端到端任务,并在相同 GPU 上与 SGLang、Claude Code 等生产系统对比打分。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-14 03:54· 57 分钟前AI 评分63

AI 导读

CMU 等机构 11 月 12 日发布 arXiv 论文 Singularity-Bench,让智能体完成预训练、推理引擎、集群编排等 6 项端到端任务,并在相同 GPU 上与 SGLang、Claude Code 等生产系统对比打分。

正文 · 原文

卡内基梅隆大学的新论文发现,Opus 5.5 + Claude Code 构建的预训练流水线、推理引擎和集群编排器,在同一批 GPU 上达到或超过了 SGLang 和 NVIDIA Dynamo 等生产工具。

Singularity-Bench 为智能体提供 6 项端到端任务,从预训练模型到构建服务引擎。每项结果都会在同一批 GPU 上与生产系统(如 SGLang 或 Claude Code)对比打分。

Opus 5.5 的 Singularity-Index 得分为 1.25(1 等于人类基线),而其他 10 个智能体平均为 0.58。其服务引擎每 GPU 小时收益为 11.52 美元,而 SGLang 为 8.18 美元。

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news