研究者发布Φ-Bench:测LLM能否开发自身基础设施
热点事件观察中
研究者发布Φ-Bench:测LLM能否开发自身基础设施
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
研究者发布 Φ-Bench,一个基于真实 LLM 训练与推理代码库构建的基准,含 85 项任务,覆盖九类 LLM 基础设施,任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化,用于评估 LLM 智能体开发与优化支撑自身运行的基础设施的能力。 在八个前沿模型中,表现最强的 Claude Opus 5 仅得 36.53%,且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。作者称将开源该基准。
AI 根据报道生成 · 1 天前更新
最新进展10月16日 12:00
Φ-Bench:大语言模型能否工程化支撑自身运行的基础设施?报道时间线
沿着报道,了解事件的不同侧面。
10月16日
- arXiv cs.CLΦ-Bench:大语言模型能否工程化支撑自身运行的基础设施?
研究者发布 Φ-Bench,一个基于真实 LLM 训练与推理代码库构建的基准,含 85 项任务,覆盖九类 LLM 基础设施,任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化。在八个前沿模型中,表现最强的 Claude Opus 5 仅得 36.53%,且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。该基准将开源。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 810月16日 22:00
- 近 24 小时变化
- -51%
02468
10月17日06:0012:0018:0010月18日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。