跳到正文
Redwood Research· Alek Westover·· 1 小时前AI 评分30

Redwood Research 如何为 AI 算力“配速”定义“能力活动”

How should we define “capabilities activities” for the purpose of pacing?

AI 导读

Redwood Research 提出一套用于 AI 算力配速的“能力活动”分类定义:默认所有活动都算能力活动,仅闲置算力、狭窄产品开发、客户服务与狭窄安全活动四类可豁免,且豁免前提是不提升通用模型能力。该定义遵循“假阳性优于假阴性”原则,并强调需第三方审计与动态调整机制。

正文 · AI 翻译

我们希望控制前沿,限制 AI 公司用于提升 AI 能力的算力,或许通过立法或自愿承诺来实现。为此,我们需要一个标准化定义,明确哪些算力用途算作“能力活动”。本文档给出了这样一种定义的一个选项;我们的分类大致如下:

我们在下面定义并详细阐述这些类别。不过首先,我们讨论该定义旨在满足的期望属性。

感谢 Thomas Larsen、Zach Stein-Perlman、Alex Mallen、Eric Gan、Jeff Wu、Girish Gupta、Adam Kaufman 等人对本文档草稿的反馈。

我们的分类旨在实现什么

为了使这样的定义成为控制节奏的有效工具,它需要满足一些基本属性:

  • 大幅限制用于“能力活动”的算力,应能大幅降低 AI 进展的速度。

  • 该分类应对抗性压力具有稳健性,即即使公司愿意调整或重新界定其活动以避免被归类为“能力”,上述观点也应成立。

  • 该分类应相当简单且易于裁定。合理的专家应基本同意该定义如何对活动进行分类(即使很难就各项活动对能力实际有多大用处达成一致)。

有一个简单的定义能满足上述所有期望属性:可以将 AI 公司的所有工作都归类为“能力活动”。本文档的目标是提出一个范围更窄的概念,允许许多类型的工作被排除在“能力”总量之外,同时有望保持相当稳健。我们认为,采用我们更复杂的定义而非最简定义可能值得,因为 (1) 它允许 AI 公司将剩余算力用于提升安全性,(2) 外部访问能分散权力和关于模型能力的信息。如果该定义难以裁定,那么将“狭义安全活动”和/或“狭义产品开发”从非能力活动中剔除,可能使其更易于裁定。

我们强调,我们的定义并非旨在作为某项活动是否真正最终提升能力的完美指标:边界足够模糊,以至于这样的分类不可行。相反,我们采用以下理念:

  • 假阳性优于假阴性。(即,将不加速 AI 进展的活动归类为“能力”远比将确实加速 AI 进展的活动归类为“非能力”更可接受。)

  • 计算非密集型活动可忽略不计。(即,如果某项活动仅代表极少量算力,那么该定义如何分类该活动并不很重要。)

我们设想一种制度:AI 公司被允许投资于“能力活动”,我们只是有意限制它们在这些活动上总共可花费的算力。因此,如果受限预算的一部分必须花在并非最核心能力工作形式的事情上,那基本没问题,我们并不希望这会对非计算密集型活动构成有意义的约束。

我们还强调,尽管我们认为下面的定义能够较好地满足各项要求,但在实践中要使其真正可行,重要的是要有第三方审计机构来确保该定义得到合理解释,同时还需要有相应程序来按需调整该定义。(如果公司以各种方式钻定义的空子,或者出现了似乎应被界定为“非能力”的新活动,又或者未来 AI 研发的面貌发生显著变化、许多事情变得不清晰,就可能需要调整该定义。)

现在我们给出我们的定义。我们首先定义非能力活动。在文档后面,我们会举例说明什么是能力活动(尽管它们被定义为“非能力活动之外的一切活动”)。

非能力活动

活动默认被视为能力活动。唯一的例外是闲置算力、狭义产品开发、服务客户和狭义安全活动。这些例外仅在相关活动不会提升通用模型能力时才适用。这些术语较为模糊;我们将在下文更详细地定义它们。

闲置算力

未执行任何计算的算力。注意:整个 GPU 必须处于闲置状态——某个核心利用率不足不算作闲置 GPU。它还应闲置一段不可忽略的时间。

狭义产品开发

将公司已开发的通用人工智能系统转化为产品,属于非能力活动,前提是这不会使通用 AI 系统能力更强,也不会加速能力进展。对独立狭义模型的研究同样属于非能力活动,同样前提是这不会使通用 AI 系统能力更强或加速能力进展(例如,通过发现可泛化的算法改进)。

更具体地说,属于狭义产品开发的活动包括:使用 AI 劳动力开发产品或狭义模型,以及为开发该产品或狭义模型而进行研发实验。以下是 AI 公司可能开发的狭义产品和狭义模型的一些例子:

  • 将 AI 集成到 Google Docs 中。

  • 将 AI 集成到眼镜中。

  • 训练蛋白质折叠模型。

  • 推荐算法。

  • 旨在提高用户对社交媒体参与度的算法。

  • 制作像 TikTok 这样提供 AI 生成视频内容的平台。

  • 使用 AI 生成广告或选择向人们展示的广告。

服务客户

大多数向外部客户提供推理服务的形式都属于非能力活动。 主要例外是:

  • 如果 AI 公司将与能力相关的任务外包给客户。

  • 如果 AI 公司基于与客户的交互进行训练。

  • 如果客户自身使用模型来协助 AI 研发任务。

请参阅能力活动以进一步讨论。

向公司员工提供推理服务通常应被视为能力活动。但是,为公司内部非科学家且不从事 AI 研发的员工(即:公司律师、市场团队、人力资源团队和传播团队)提供推理服务,被视为非能力活动。(我们还会在狭义安全活动一节中,为安全研究人员的一些推理服务作出规定。)

让客户以有限的方式微调模型(例如,针对医院场景进行微调)同样属于非能力活动。

狭义安全活动

某些形式的安全工作与能力工作区别足够明显,因此我们将其视为非能力活动。我们将狭义安全活动定义为以下任意一项:(1) 评估模型对齐性,(2) 测试并改进公司安全,(3) 不太具有双重用途、且可能提升安全性的研究,(4) 监控,(5) 运行滥用分类器,或 (6) 事件调查。

并非所有安全活动都算作狭义安全活动。有些安全活动具有双重用途,或难以与能力活动区分。开展一些不属于狭义安全活动的安全活动可能是有价值的。但本分类将此类活动计为能力活动。

尽管我们试图在狭义安全活动与能力活动之间划出一条有原则的界线,但这条界线并不如理想中那样清晰。我们认为,为了获得更宽松的非能力活动定义,这是一个合理的权衡。

下面我们给出属于狭义安全活动的完整清单。

  • 评估模型对齐性。对齐性评估旨在确定模型是否会表现出某种行为,而非模型能否解决某项任务。然而,如果对齐性评估涉及展示 AI 研发能力,则仍被视为能力评估(如果仅涉及展示通用编码或推理能力,则没有问题)。(如果在实践中难以区分对齐性评估与能力评估,我们可以要求公司每月仅运行一次评估,或由第三方审计员运行;不过,我们预计这并不必要。)

  • 测试并改进公司安全(例如,修补公司基础设施中的漏洞、通用安全工程)。这在一定程度上难以与网络攻击能力评估以及修补损坏的 RL 环境区分开来。如果公司针对“渗透测试”的结果进行迭代,以使模型能力更强,则这算作能力活动。例如,如果一家公司进行了网络能力评估,然后只是将其称为公司安全,则仍会被视为能力活动。判断某项工作属于评估的一个标志是:公司尝试其 AI 的多种配置(例如,不同的训练算法),观察哪些配置表现良好,然后开发这些配置。我们还指出,此类别仅适用于公司内部基础设施的安全工作:我们的预期是,外部安全工作(例如,修补 Linux 内核中的漏洞)应委托给外部方。AI 公司可以给予这些外部方补贴推理或访问更强大的内部模型,但公司不应强烈指导其活动,也不应将其结果用作评估信号。

  • 能够提升安全性且双重用途风险不太高的研究。我们明确列出了少数几个属于此类别的安全研究领域白名单:可解释性研究、CoT 信息量研究、模型人格研究、模型生物研究,以及没有近期能力提升应用的对齐理论研究;我们将在下文解释每一项的含义。用于让 AI 系统编写实验代码的算力,以及用于运行实验(包括训练实验)的算力,都计入此处安全研究活动的一部分。由于这一类别尤其令人担忧,研究人员必须对研究及其发现保持透明,才能被计为狭义安全活动(透明度在整个提案中都有帮助,但在这里尤其重要,因为其中许多研究具有很高的双重用途潜力)。具体而言,在项目开始时,公司必须公开解释项目计划;在项目结束时,必须撰写公开报告,详细说明其结果。在这些前提下,狭义安全研究由下方子条目中列出的活动组成,且仅包括以下活动。白名单如此之短可能令人意外。原因有二:(1) 某些形式的安全研究,例如可扩展监督,与能力研究极为相似;有关因双重用途风险过高而不纳入狭义安全工作类别的安全活动列表,请参见此处。(2) 总体而言,有前景的安全研究领域并不多。

    • 可解释性研究。具体而言:开发用于理解模型的事后工具(探针、Jspace、logitlens、NLA、激活预言机、SAE),以及修改训练和架构以使模型更具可解释性(例如梯度路由、稀疏化),前提是这些工作也没有明显的提升能力的应用。

    • CoT 信息量研究。

    • 模型人格研究。这意味着研究训练如何塑造模型所采取的性格(其价值观、自我认知和广泛倾向),并开发能够可靠地灌输所需人格的技术。示例包括“Teaching Claude why”、接种提示、模型规范中期训练以及涌现性失准。只有当预期效果作用于模型会做什么,而非模型能做什么时,它才被计为狭义安全活动。

    • 不涉及研究新算法思想的模型生物研究。这意味着有意修改训练配方,其目标是导致 AI 以某种方式失准,但不可能合理地提升能力或使其他模型的能力得到提升。在创建模型生物之后,可以对其运行对齐评估,或在其上测试可解释性工具。属于狭义安全工作的模型生物研究示例包括:潜伏代理、对齐伪装、偷懒或破坏。一个不属于狭义研究的例子是研究新型架构(如“neuralese”)的可监控性属性,因为训练此类模型的过程很可能需要一些实验性新技术,因而有可能产生能力方面的洞见。需要明确的是:如果模型生物研究涉及测试新算法思想(即使规模很小),则反而算作能力活动。

    • 没有近期应用于提升模型能力的对齐理论研究。这包括 Agent Foundations 方面的工作(例如 MIRI 的工作)以及 ARC 的工作。

  • 监控。运行监控器 以检测不良行为是一项安全活动。监控器是寻找不良行为的一种特定方式,不同于例如能力评估和奖励模型。监控器与奖励模型的不同之处在于,奖励模型直接向 AI 系统提供训练信号,而监控器不会被直接优化。监控器不应直接成为这样一个循环的一部分:开发者尝试对训练配方进行若干调整,对其运行“监控器”,并使用这些监控器来选择哪些调整是好的(包括在小规模实验中)。否则,我们不会将其视为“监控器”,而会将此活动视为能力活动。监控器反而用于有可能阻止极其恶劣的模型行为,至少使其可见(这可能有助于日后从根本上解决问题)。

  • 运行滥用分类器。运行分类器以检查用户是否试图利用 LLM 造成伤害(例如制造生物武器)。运行越狱分类器也是允许的。关于监控的章节中的注意事项同样适用于此(在实践中将滥用分类器用作奖励模型或能力评估将不被允许)。

  • 搜索和调查失准事件。搜索恶劣的失准事件(例如此处披露的类型)算作非能力活动。调查此类失准事件(例如Hugging Face 事件调查)也是非能力活动。此活动与监控非常相似,同样的注意事项也适用。

能力活动

如前所述,AI 公司的活动默认被视为能力活动,除非它们属于上一节中的任何类别。这一类别有意设置得宽泛:例如,它包括具有次要能力应用的安全研究,或任何其他无法有力证明应归入其他类别的活动。许多此类活动对 AI 公司来说似乎是有益的,但它们与明确界限相距甚远,因此我们希望将其计入这一类别。

为阐明哪些活动属于这一类别,我们给出几个示例。

核心能力活动

许多工作负载明确且有意地旨在提升生产模型的能力,或为未来此类改进进行研发。例如:

  • 新的生产预训练运行。

  • 新的生产后训练运行。

  • 蒸馏。

  • 构建并运行能力评估与基准测试。

  • 改进内核或优化推理。

  • AI 研发实验,但涉及“安全”或“狭窄产品开发”的实验除外。

  • 设计脚手架、提示词或技能,可能使 AI 模型在与编程或 AI 研发相关的任务上显著提升(例如,为 Slack 中的 Claude Tag 开发脚手架)。

  • 设计硬件加速器。

  • 获取、过滤、评分或创建用于 AI 研发的数据;例如,设计 RL 环境或能力评估。

  • 使用 AI 劳动力对 AI 行动的质量进行评分,前提是这些评分可作为改进 AI 的信号。

可能提升能力的安全工作

部分安全工作可能具有能力应用,或难以与能力驱动的工作区分开来。为保持定义保守且难以被钻空子,我们将此类工作归类为能力活动。这包括:

  • 关于辩论或“可扩展监督”的工作,包括致力于打造更好、更智能或更稳健的奖励模型。

  • 关于概念推理能力的工作,或让模型更擅长解决模糊指定的任务。

  • 运行控制或监控评估。(这些属于能力评估的一种。)

  • 运行危险能力评估。(这些属于能力评估的一种。)

  • 运行“宪法 AI”/ RLAIF。

  • 训练监控器。(如前所述,运行监控器属于非能力活动,但改进监控器的工作似乎与改进其他模型能力的工作非常相似。)

  • 训练滥用分类器。(运行这些分类器属于非能力活动,但改进它们的工作似乎与改进其他模型能力的工作非常相似。)

  • 针对越狱鲁棒性的训练。

  • 改进 RL 环境,包括修复错误指定问题/环境“可被黑”的方式/修补损坏的 RL 环境。

下表列出了一些与能力活动特别难以区分的狭窄安全活动:

我们想重申一些区分这些类别的指导原则。

网络能力评估被直接用作优化循环的一部分,AI 公司在该循环中调整训练配方(在大规模或小规模实验中),衡量哪些调整效果最佳,并选择这些调整。相比之下,监控、寻找错位以及寻找(并修复)公司安全问题并不直接属于此类优化循环。奖励模型更直接地用于决定对 AI 系统的哪些修改使其更智能。

提高我们监督信号的质量(例如通过解决奖励设定错误的问题)与搜寻失准失败是不同的,因为改进后的奖励信号会直接用于打造更强大的 AI 系统,而针对不良行为的监控则用于阻止不良行为。公司不得直接针对监控进行迭代,否则该监控将被视为能力活动。

可能提升能力的产品工作

某些消费产品开发工作也可能直接或间接地提升模型能力,其方式可能与编程或 AI 研发相关(例如,因为这些改进可能泛化到更广泛的智能,或者因为它们可能产生普遍适用的算法思路)。此类工作应归类为能力工作。示例包括:

  • 构建需要训练通用模型以在某一领域具备更强能力的产品。(例如,训练一个特别擅长数学研究或擅长构建优秀法律论证的模型。)

  • 构建涉及对模型进行脚手架搭建以使其更擅长编程或研究的产品。

  • 机器人技术。

  • 语音模式、视频模型和图像模型方面的工作(训练它们,并进行研发)。

将客户推理用于 AI 研发

尽管向客户提供推理服务(或以其他方式出售计算资源)通常被视为非能力活动,但存在三个主要例外。

  • 将能力活动外包给客户。即,AI 公司有意引导外部第三方客户的活动,以执行可能帮助其提升能力的任务的任何情况。Thomas 的攻击补充材料(即将发布)更详细地讨论了如何处理这些情况。

  • 基于客户数据进行训练。如果 AI 公司基于客户数据进行训练,或针对其进行迭代(例如,将其用于可提升模型能力的评估循环中,例如将其用作能力评估),那么用于生成该数据的推理即计为能力活动。

  • 客户为任何目的执行核心能力活动。(例如,制作 RL 环境,即使这些环境并未直接卖回给 AI 公司。)AI 公司应使用稳健的分类器来识别客户何时在执行此类任务,然后要么拒绝为这些客户提供服务,要么将该推理计为能力活动。对于 ZDR 工作负载,公司需要要么根据分类器结果拒绝为该客户提供服务,要么推定将该推理计为能力活动。

未知或模糊的活动

如果某项活动未明确归入所描述的任何非能力类别,则推定其被视为能力活动。如果这成为问题,公司可以在较高层面描述该工作负载,并可以调整定义。

结论

为前沿发展定速是紧迫的。因此,拥有经公开验证的良好衡量指标(如此处所述),以衡量有多少算力正被用于推动前沿发展,同样也是紧迫的。

Anthropic 已经发布了一份关于其 AI 研发中安全研究占比的估算,并呼吁将第三方测量并公开报告这一数字作为通行做法。尽管 Anthropic 的发布并未透明说明他们如何定义“安全研究”,也尚未有审计方核实其数字,但他们已朝正确方向迈出了一步。

我们敦促 AI 开发者让第三方审计方测量并报告 AI 公司在能力活动与非能力活动上的算力分配比例,所用定义应与本文档给出的定义大致相似(或完全相同)。

来源:Redwood Research · blog.redwoodresearch.org