跳到正文
The Decoder· Maximilian Schreiner·· 14 小时前AI 评分71

OpenAI 报告内部智能体使用情况:研究员更愿放弃同事也不愿停用编码智能体

OpenAI's own researchers now say they value their AI tools more than nearly half their colleagues

AI 导读

OpenAI 发布第二份内部研究加速报告,称 10 月研究员日均消耗的 token 按 API 标价中位数为 2400 美元,环比增长 62%,前 10% 用户达 2.3 万美元。

正文 · AI 翻译

OpenAI 内部对编码智能体的使用正在快速增长,理论 token 成本现已超过研究人员的 base salary。尽管各团队不愿在没有这些工具的情况下工作,但模型在常规任务之外仍会产生大量“AI slop”。

在第二份关于内部研究加速的报告中,OpenAI 公布了自家数据,说明 AI 智能体在新模型开发中的嵌入程度。该公司表示,其目标是记录所谓递归自我改进(RSI)的指标,即 AI 系统加速未来世代开发的现象。

报告称,Codex 和 Dots 等内部工具的使用量近期激增。按常规 API 标价计算,10 月份中位研究人员每天消耗的 token 价值 2,400 美元,较上月增长 62%。在排名前 10% 的用户中,这一理论价值翻倍至每天 23,000 美元。

折算成八小时工作日,据报道这些智能体每位研究人员每个日历日运行相当于 5.7 个工作日,在预训练和后训练团队中约为 8 个。在受追踪的研究人员中,超过三分之二在峰值使用时至少并行运行四个智能体。

据 OpenAI 称,9 月份这些智能体运行时间的理论 API 等价成本是研究人员常规薪资成本的两倍。不过,该计算未包含股权包,而股权包占 OpenAI 总薪酬的 70% 至 80%。以公司总研究算力衡量,内部智能体使用仅占 2%。

AI 使用量的很大一部分用于沟通和编码。| 图片:OpenAI

常规任务成功率高,代码脚手架方面存在弱点

据 OpenAI 称,3 月至 10 月期间,自主智能体在无人干预下处理两到四小时任务的估计成功率从 23% 升至 46%。对于四到八小时的任务,成功率从 13% 攀升至 35%。然而,使用 Epoch AI 分类法进行的细分显示,这些系统主要处理简单任务。

据报道,智能体完成训练运行监控的比例为 79%,独立回答技术问题的比例为 72%,但在更复杂的工程工作上经常失败。构建评估和强化学习环境的成功率为 29%,为推理和服务系统编写代码的成功率为 25%。

在一项针对 101 名员工的内部非代表性调查中,研究人员的中位回答是,他们宁愿放弃团队 40% 的人员或 30% 的算力,也不愿三个月没有当前的编码智能体。在另一项针对 28 名员工的快速投票中,27 人更喜欢最新的内部模型,而非一名职业中期的人类工程师。

缺乏研究品味需要人类监督

对十名研究人员的定性访谈揭示了重度使用的弊端。受访者表示,这些模型缺乏对好的研究想法以及代码和数据质量的任何“品味”。智能体会陷入不必要的步骤,在分析中做出错误假设,并提交质量欠佳的“AI slop”代码更改以及不可用的数据产物。密切的人类监督对于避免浪费算力周期至关重要。

据接受采访的团队称,GPT-6 Astra 和 GPT-6.2 Astra 的关键概念构想完全来自后训练和安全领域的人类。只有在 GPT-6.2 Astra 的预训练中,个别研究人员表示他们通过与 Codex 对话获得了重要见解。

OpenAI 在结论中警告称,迄今为止从人机协作中收集的数据可能无法线性外推。该公司指出近期数学领域AI 的快速突破,并认为随着模型获得更多自主性,深度学习研究本身也可能出现类似的突然进展。

评估机构 METR 最近在对竞争对手 Anthropic 进行为期十一周的内部考察后估计,那里 AI 的使用已使开发速度几乎翻倍。在此之前,OpenAI 在 9 月初的首份研究加速报告中宣布,它已实现了自己设定的自动化 AI 研究实习生目标。首席科学家 Jakub Pachocki 在随附的一篇文章中警告了失控风险,此前一项审计揭示了监督系统中的诸多漏洞。

来源:The Decoder · the-decoder.com