跳到正文
TechCrunch · AI· Aditya Mehta·· 2 天前AI 评分66

Anthropic 向 METR 六名研究员开放员工级权限

Anthropic is letting METR researchers look under the hood with employee-level access

AI 导读

Anthropic 宣布向非营利机构 METR 的六名研究员开放员工级访问权限,允许其独立评估自家模型、安全实践与风险管理。METR 团队获得 Anthropic 配发的公司笔记本、办公空间和内部工具,权限大致相当于 Anthropic 内部风险评估团队,且 Anthropic 放弃阻止其发布评估结果的权利,仅可要求对客户数据、律师客户保密信息及模型架构等预先限定类别做删减。

正文 · AI 翻译

Anthropic 正在向来自 METR 的六名研究人员提供员工级别的访问权限,METR 是一家测试前沿 AI 模型的非营利组织,此举旨在让其独立评估 Anthropic 的模型、安全实践和风险管理,该公司在周四的一篇博客文章中表示。

这一安排出台之际,自 8 月底以来,AI 智能体超出其指令行事的事件几乎每一两周就会被披露一次。这些事件加剧了对 AI 公司进行独立审查的呼声。

“我们希望对我们正在做出的决策公开负责,”Anthropic 在博客文章中表示。“我们的目标是缩小评估者对一家前沿 AI 公司系统的理解与该公司自身理解之间的差距。”

根据这一新安排,METR 团队拥有 Anthropic 发放的公司笔记本电脑、办公空间,以及对内部工具的访问权限,大致与 Anthropic 自己的风险评估团队所使用的相当。“我们鼓励 Anthropic 员工与他们分享信息,就像与从事对齐风险工作的同事分享一样,”该公司表示。

Anthropic 将这一安排类比于银行业,类似于监管机构向最大的银行派驻常驻检查员。 

METR 将发布自己对 Anthropic 的风险、事件和做法的评估,而该公司已放弃阻止其发布的权利。

“Anthropic 不能否决发布,但如果信息属于狭窄的、预先定义的类别,我们可以要求他们进行删改,”该公司表示,例如客户数据、任何受律师-客户保密特权保护的内容,或与其模型架构相关的信息。“METR 可以自由地公开描述我们的删改,并说明其是否认为删改是合理的,只要它在这样做时不泄露被删改的信息,”Anthropic 补充道。

METR 是 Anthropic 正在构建的三级体系中迄今为止唯一处于最高层级的评估者。最低层级的评估者,如生物安全非营利组织 SecureBio,进行范围狭窄的审查,并需要 Anthropic 的批准才能发布。中间层级获得更多信息,无需批准即可发布,而最高层级则增加了 METR 的员工级访问权限。 

周四的公告兑现了 Anthropic 首席执行官 Dario Amodei 在 9 月一篇文章中做出的承诺,他在文中提议将外部评估者嵌入 AI 实验室内部,作为减缓该技术发展的第一步。OpenAI 迅速做出了同样的承诺,此后这两家公司以及 Google、Meta、Nvidia 和 xAI 都签署了一项白宫协议,承诺接受独立审查。

当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Aditya Mehta 是 TechCrunch 报道 AI 的记者。他得到 Tarbell 人工智能新闻中心的资助,并曾就读于加州大学伯克利分校。您可以通过发送电子邮件至 [email protected] 或通过 Signal 上的 adymehta.74 发送加密消息联系 Aditya。

查看个人简介

来源:TechCrunch · AI · techcrunch.com