跳到正文
RadarAI· Redwood Research:Blog(RSS)·· 1 小时前AI 评分41

Redwood Research 如何为 AI 发展节奏管控定义“能力活动”

AI 导读

Redwood Research 提出一套面向 AI 发展节奏管控的算力分类标准,默认将所有 AI 公司活动视为“能力活动”,仅豁免闲置算力、狭义产品开发、客户服务和狭义安全活动四类。该定义遵循“假阳性优于假阴性”原则,并强调需第三方审计确保执行,且定义本身需保留调整程序。

正文 · AI 翻译

Redwood Research:Blog· Alek Westover·2026-11-18 05:36· 47 分钟前AI 评分44

为了进行节奏管控,我们应如何定义“能力活动”?

AI 导读

Redwood Research 提出一套用于“节奏管控”的算力分类标准,将 AI 公司的活动默认视为“能力活动”,仅豁免闲置算力、狭义产品开发、客户服务和狭义安全活动四类。该定义遵循“假阳性优于假阴性”原则,并要求第三方审计以确保执行。

正文 · 原文

我们希望通过限制 AI 公司用于提升 AI 能力的算力规模来管控前沿进展的节奏,或许通过立法或自愿承诺来实现。为此,我们需要一个标准化定义,明确哪些算力用途算作“能力活动”。本文档给出了这样一种定义的一个选项;我们的分类大致如下:

我们在下文对上述每个类别进行定义和详细阐述。不过首先,我们讨论该定义旨在满足的期望属性。

感谢 Thomas Larsen、Zach Stein-Perlman、Alex Mallen、Eric Gan、Jeff Wu、Girish Gupta、Adam Kaufman 等人对本文档草稿的反馈。

我们的分类旨在实现什么

要使这样的定义成为有效的节奏管控工具,它需要满足一些基本属性:

  • 大幅限制用于“能力活动”的算力规模,应能大幅降低 AI 进展的速度。

  • 该分类应能抵御对抗性压力,即即使公司愿意调整或重新包装其活动以避免被归类为“能力”,上述要点仍应成立。

  • 该分类应相当简单且易于裁定。合理的专家应基本认同该定义如何对活动进行分类(即使难以就各项活动对能力的实际有用程度达成一致)。

有一个简单定义能满足上述所有期望属性:可以将 AI 公司的所有工作都归类为“能力活动”。本文档的目标是提出一个范围更窄的概念,允许许多类型的工作被排除在“能力”总量之外,同时希望保持相当的稳健性。我们认为,采用我们更复杂的定义而非最简定义可能值得,因为(1)它允许 AI 公司将剩余算力用于提升安全性,(2)外部访问能分散权力和关于模型能力的信息。如果该定义难以裁定,那么将“狭义安全活动”和/或“狭义产品开发”从非能力活动中剔除,可能使其更易于裁定。

我们强调,我们的定义并非旨在作为某项活动是否真正最终提升能力的完美度量:边界足够模糊,以至于这样的分类并不可行。相反,我们采用以下理念:

  • 假阳性优于假阴性。(即,将不会加速 AI 进展的活动归类为“能力”活动,比将确实会加速 AI 进展的活动归类为“非能力”活动,要可接受得多。)

  • 计算密集度低的活动可忽略不计。(即,如果某项活动仅代表极少量算力,那么该定义如何对其分类并不十分重要。)

我们设想这样一种制度:允许 AI 公司投资于“能力活动”,但我们有意限制它们在总体上可以为此花费多少算力。因此,如果这一受限预算中的一部分必须花在并非最核心的能力工作上,那基本没问题,我们也不希望这会对非算力密集型活动构成实质性约束。

我们还要强调,尽管我们认为下文给出的定义能较好地满足各项要求,但在实践中要真正可行,重要的是要有第三方审计方来确保该定义得到合理解释,同时也要有相应程序来按需调整该定义。(如果公司最终以各种方式钻定义的空子,或者出现了似乎应被划为“非能力”的新活动,又或者未来 AI 研发的面貌发生显著变化、许多事情变得不清晰,就可能需要调整定义。)

现在我们给出定义。我们先定义非能力活动。在文档后文,我们会举例说明什么是能力活动(尽管它们被定义为“非能力活动之外的一切”)。

非能力活动

活动默认被视为能力活动。唯一的例外是闲置算力、狭义产品开发、服务客户和狭义安全活动。这些例外仅在相关活动不会提升通用模型能力时才适用。这些术语较为模糊;我们将在下文更详细地定义它们。

闲置算力

未执行任何计算的算力。注意:整个 GPU 必须处于闲置状态——利用率不足的核心不算闲置 GPU。它还应当闲置一段不可忽略的时间。

狭义产品开发

将公司已开发的通用 AI 系统转化为产品,属于非能力活动,前提是这不会让通用 AI 系统能力更强,也不会促成更快的能��进展。开发独立的狭义模型同样属于非能力活动,同样前提是这不会让通用 AI 系统能力更强,也不会促成更快的能��进展(例如通过发现可泛化的算法改进)。

更具体地说,属于狭义产品开发的活动包括:利用 AI 劳动力开发产品或狭义模型,以及为开发该产品或狭义模型而开展研发实验。以下是 AI 公司可能开发的狭义产品和狭义模型的一些例子:

  • 将 AI 集成到 Google Docs 中。

  • 将 AI 集成到眼镜中。

  • 训练蛋白质折叠模型。

  • 推荐算法。

  • 旨在提高用户对社交媒体参与度的算法。

  • 打造像 TikTok 这样提供 AI 生成视频内容的平台。

  • 利用 AI 生成广告或选择向人们展示的广告。

服务客户

大多数向外部客户提供推理服务的形式都属于非能力活动。 主要例外是:

  • 如果 AI 公司将与能力相关的任务外包给客户。

  • 如果 AI 公司利用与客户的交互进行训练。

  • 如果客户自己使用模型来协助 AI 研发任务。

关于这一点,请参阅能力活动以了解更多讨论。

为公司员工提供推理服务通常应被视为能力活动。然而,为公司内部非科学家且不从事 AI 研发的员工(即:公司律师、市场团队、人力资源团队和传播团队)提供推理服务,则被视为非能力活动。(我们也会在窄安全活动一节中,对安全研究人员的一些推理服务作出规定。)

允许客户以窄方式微调模型(例如,为医院使用而微调)同样属于非能力活动。

窄安全活动

某些形式的安全工作与能力工作区别明显,因此我们将其视为非能力活动。我们将窄安全活动定义为以下任意一项:(1) 评估模型对齐,(2) 测试并改进公司安全,(3) 可能提升安全且双重用途性不太强的研究,(4) 监控,(5) 运行滥用分类器,或 (6) 事件调查。

并非所有安全活动都算作窄安全活动。有些安全活动具有双重用途,或难以与能力活动区分。开展一些不属于窄安全活动的安全活动可能是有价值的。然而,本分类将此类活动计为能力活动。

尽管我们尝试在窄安全活动与能力活动之间划出一条有原则的界线,但这条界线不如理想中那样清晰。我们认为,为了获得更宽松的非能力活动概念,这是一个合理的权衡。

我们现在给出构成窄安全活动的详尽清单。

  • 评估模型对齐。对齐评估旨在确定模型是否会表现出某种行为,而不是它能否解决某项任务。然而,如果对齐评估涉及展示 AI 研发能力,那么它仍被视为能力评估(如果仅涉及展示一般编码或推理能力,则没有问题)。(如果对齐评估与能力评估在实践中难以区分,我们可以要求公司每月只运行一次评估,或由第三方审计员运行;不过,我们预计这并非必要。)

  • 测试和提升公司安全(例如,修补公司基础设施中的漏洞、通用安全工程)。这在一定程度上难以与网络攻击能力评估以及修补损坏的 RL 环境区分开来。如果公司针对“渗透测试”的结果进行迭代以使模型能力更强,那么这就算作能力活动。例如,如果一家公司进行了网络能力评估,然后只是将其称为公司安全,那仍然会被视为能力活动。表明某项工作属于评估的一个迹象是:公司正在尝试其 AI 的多种配置(例如不同的训练算法),观察哪些配置表现良好,然后开发这些配置。我们还注意到,这一类别仅适用于公司内部基础设施的安全工作:我们的预期是,外部安全工作(例如修补 linux 内核中的漏洞)应委托给外部各方。AI 公司可以向这些各方提供补贴推理或访问更强大的内部模型,但公司不应强烈指导他们的活动,也不应将他们的结果用作评估信号。

  • 可能提升安全性且双重用途性不太强的研究。我们指定了一份白名单,列出属于此类别的一些安全研究领域:可解释性研究、CoT 信息量研究、模型人格研究、模型生物研究,以及近期没有提升能力应用的对齐理论研究;我们将在下文解释每一项的含义。用于让 AI 系统编写实验代码的算力,以及用于运行实验(包括训练实验)的算力,都算作此处安全研究活动的一部分。由于这一类别特别令人担忧,研究人员必须对研究及其发现保持透明,才能算作狭义安全活动(在整个提案中,更高的透明度都是有帮助的,但在这里尤其重要,因为这类研究中有许多具有很高的双重用途潜力)。具体而言,在项目开始时,公司必须公开解释项目计划;在项目结束时,必须撰写公开报告,详细解释其结果。在这些前提下,狭义安全研究由以下子条目中列出的活动组成,且仅限于这些活动。白名单如此之短可能会令人意外。原因有两个:(1) 某些形式的安全研究,例如可扩展监督,与能力研究极为相似;请参阅此处,了解因双重用途性过强而不宜纳入狭义安全工作类别的安全活动列表。(2) 总体而言,有前景的安全研究领域并不多。

    • 可解释性研究。具体而言:开发用于理解模型的事后工具(探针、Jspace、logitlens、NLA、激活预言机、SAE),并修改训练和架构以使模型更具可解释性(例如梯度路由、稀疏化),前提是这些工作也没有明显的提升能力的应用。

    • CoT 信息量研究。

    • 模型人格研究。这意味着研究训练如何塑造模型所采用的角色(其价值观、自我认知和总体倾向),并开发能够可靠地灌输所需人格的技术。例子包括“Teaching Claude why”、接种提示、模型规范中期训练以及涌现性失准。只有当预期效果作用于模型会做什么,而非模型能做什么时,它才算作一项狭义安全活动。

    • 不涉及探究新算法思想的模型生物研究。这意味着有意修改训练配方,其目标是使 AI 以某种方式失准,但不可能合理地提升能力或使其他模型的能力得以提升。在创建模型生物之后,允许对其运行对齐评估,或在其上测试可解释性工具。算作狭义安全工作的模型生物研究示例包括:潜伏代理、对齐伪装、偷懒(sandbagging)或破坏(sabotage)。不算作狭义研究的例子是研究一种新架构(如“neuralese”)的可监控性属性,因为训练此类模型的过程很可能需要一些实验性新技术,从而有可能产生能力方面的洞见。需要明确的是:如果模型生物研究涉及测试新算法思想(即使规模很小),它反而算作一项能力活动。

    • 对齐方面的理论工作,且近期内不应用于提升模型能力。这包括 Agent Foundations 方面的工作(例如 MIRI 的工作)以及 ARC 的工作。

  • 监控。运行监控器 以检测不良行为是一项安全活动。监控器是寻找不良行为的一种特定方式,有别于例如能力评估和奖励模型。监控器与奖励模型不同,因为奖励模型直接向 AI 系统提供训练信号,而监控器不会被直接针对优化。监控器不应直接成为这样一个循环的一部分:开发者尝试对训练配方做若干调整,对其运行“监控器”,并利用这些监控器来选择哪些调整是好的(包括在小规模实验中)。否则,我们就不会将其算作“监控器”,而会将该活动视为能力活动。相反,监控器用于有可能阻止极其恶劣的模型行为,至少使其可见(这可能有助于日后从根本上解决问题)。

  • 运行滥用分类器。运行分类器以检查用户是否试图利用 LLM 造成伤害(例如制造生物武器)。运行针对越狱的分类器也是允许的。关于监控一节的注意事项在此同样适用(在实践中将滥用分类器用作奖励模型或能力评估将不被允许)。

  • 搜寻并调查失准事件。搜寻恶劣的失准事件(例如此处披露的类型)属于非能力活动。调查此类失准事件(例如Hugging Face 事件调查)同样属于非能力活动。该活动与监控非常相似,同样适用相同的注意事项。

能力活动

如前所述,AI 公司的活动默认被视为能力活动,除非它们属于上一节中的任何类别。该类别有意设置得宽泛:例如,它包括具有次要能力应用的安全研究,或任何其他无法有力证明应归入其他类别的活动。许多此类活动对 AI 公司来说似乎值得一做,但它们与明确界限相距甚远,因此我们希望将其计入此类别。

为阐明哪些活动属于此类别,我们给出几个示例。

核心能力活动

许多工作负载明显且有意地旨在提升生产模型的能力,或为未来此类提升进行研发。例如:

  • 新的生产预训练运行。

  • 新的生产后训练运行。

  • 蒸馏。

  • 构建并运行能力评估与基准测试。

  • 改进内核或优化推理。

  • AI 研发实验,但涉及“安全”或“狭义产品开发”的实验除外。

  • 设计脚手架、提示词或技能,可能使 AI 模型在与编程或 AI 研发相关的任务上显著提升(例如,为 Slack 中的 Claude Tag 开发脚手架)。

  • 设计硬件加速器。

  • 获取、过滤、评分或创建用于 AI 研发的数据;例如,设计 RL 环境或能力评估。

  • 使用 AI 劳动力对 AI 行动的质量进行评分,前提是评分可作为改进 AI 的信号。

可能提升能力的安全工作

部分安全工作可能具有能力应用,或难以与能力驱动的工作区分开来。为保持定义保守且难以钻空子,我们将此类工作归类为能力活动。这包括:

  • 关于辩论或“可扩展监督”的工作,包括致力于打造更好、更智能或更稳健的奖励模型。

  • 关于概念推理能力的工作,或使模型更擅长解决模糊指定任务的工作。

  • 运行控制或监控评估。(这些属于一种能力评估。)

  • 运行危险能力评估。(这些属于一种能力评估。)

  • 运行“宪法 AI”/ RLAIF。

  • 训练监控器。(如前所述,运行监控器属于非能力活动,但改进监控器的工作似乎与改进其他模型能力的工作非常相似。)

  • 训练滥用分类器。(运行这些分类器属于非能力活动,但改进它们的工作似乎与改进其他模型能力的工作非常相似。)

  • 针对越狱鲁棒性的训练。

  • 改进 RL 环境,包括修复错误指定问题 / 环境“可被黑入”的方式 / 修补损坏的 RL 环境。

下表列出了几项与能力活动特别难以区分的狭义安全活动:

我们想重申一些区分这些类别的指导原则。

网络能力评估被直接用作优化循环的一部分:AI 公司在该循环中调整训练配方(在大规模或小规模实验中),衡量哪些调整效果最好,并据此选择这些调整。相比之下,监控、搜寻失准行为,以及搜寻(并修复)公司安全问题,并不直接属于此类优化循环。奖励模型则更直接地被用于决定对 AI 系统的哪些修改能使其更智能。

提升我们监督信号的质量(例如通过解决奖励设定错误问题)与搜寻失准失败是不同的,因为改进后的奖励信号会直接用于打造更强大的 AI 系统,而针对不良行为的监控则用于阻止不良行为。公司不得直接针对监控进行迭代,否则该监控就被视为能力活动。

可能提升能力的产品工作

某些消费产品开发工作也可能直接或间接地提升模型能力,其方式可能与编程或 AI 研发相关(例如,因为这些改进可能泛化到更广泛的智能,或因为它们可能产生普遍适用的算法思路)。此类工作应归类为能力工作。示例包括:

  • 构建需要训练通用模型以在某一领域具备更强能力的产品。(例如,训练一个特别擅长数学研究或擅长构建优秀法律论证的模型。)

  • 构建涉及为模型搭建脚手架以使其更擅长编程或研究的产品。

  • 机器人技术。

  • 语音模式、视频模型和图像模型方面的工作(训练它们,以及进行研发)。

将客户推理用于 AI 研发

尽管向客户提供推理服务(或以其他方式出售计算资源)通常被视为非能力活动,但存在三个主要例外。

  • 将能力活动外包给客户。即,AI 公司有意引导外部第三方客户的活动,以执行可能帮助其提升能力的任务的任何情形。Thomas 的攻击补充材料(即将发布)更详细地讨论了如何处理这些情形。

  • 基于客户数据进行训练。如果 AI 公司基于客户数据进行训练,或针对其进行迭代(例如,将其用于提升模型能力的评估循环中,例如将其用作能力评估),那么用于生成该数据的推理就计为能力活动。

  • 客户为任何目的执行核心能力活动。(例如,制作 RL 环境,即使这些环境并未直接卖回给 AI 公司。)AI 公司应使用稳健的分类器来识别客户何时在执行此类任务,然后要么拒绝为这些客户提供服务,要么将该推理计为能力活动。对于 ZDR 工作负载,公司需要要么基于分类器结果拒绝为该客户提供服务,要么推定将该推理计为能力活动。

未知或模糊的活动

如果某项活动未明确归入所描述的任何非能力类别,则推定其被视为能力活动。如果这成为问题,公司可以在高层面上描述该工作负载,并据此调整定义。

结论

推进前沿刻不容缓。因此,拥有经过公开验证的、关于有多少算力被用于推动前沿的良好度量也同样紧迫(如此处所述)。

Anthropic 已经发布了一项估计,说明其 AI 研发中有多少属于安全研究,并呼吁将第三方测量并公开报告这一数字作为通行做法。尽管 Anthropic 的发布并未透明说明他们如何定义“安全研究”,且他们尚未让审计方核实这一数字,但他们已朝正确方向迈出了一步。

我们敦促 AI 开发者让第三方审计方测量并报告 AI 公司在能力活动与非能力活动上分配了多少算力,所用定义应与本文档给出的定义大体相似(或或许完全相同)。

来源:Redwood Research:Blog · blog.redwoodresearch.org

来源:RadarAI · aihot.news