The Decoder· Matthias Bastian·· 9 小时前AI 评分58
METR 警告 AI 能力提升快于专家可靠评估其安全性的速度
AI is getting better faster than experts can reliably test whether new systems are safe, METR warns
AI 导读
AI 研究组织 METR 警告,现有公开数据不足以排除未来几年 AI 研究出现急剧加速,这可能让人无法理解、评估和应对新 AI 系统带来的灾难性风险。
正文 · AI 翻译
AI 模型在 AI 研究任务上的能力正快速提升,而衡量它们的难度也越来越大。 据 AI 研究组织 METR 称,现有的公开数据不足以排除未来几年 AI 研究出现急剧加速的可能性。该组织警告说,这可能会使人类无法“有意义地理解、评估并应对新 AI 系统带来的灾难性风险”。
METR 发现,在定义明确、具有直接反馈的编程和计算任务上,这些模型在大多数情况下已经胜过经验丰富的人类专业人士,不过它们尚未超越由顶尖专家组成的大型团队。对于人类需要更长时间完成的任务,模型能够处理的任务时长每 3.6 个月翻一番。对 METR 数据的简单外推显示,到 2027 年 7 月,它们在最长的 200 小时任务上的成功率将达到 50%。

据 METR 称,这些系统仍然难以应对缺乏即时反馈、需要真正判断力的开放式问题,也难以应对难以复现用于训练的情境。该组织还警告说,常见且易于运行的测试可能会高估模型在实际使用中的表现,因为开发者是在非常相似的测试环境中训练它们的。
来源:The Decoder · the-decoder.com