Dario Amodei 回应 Nathan Calvin 对 Anthropic 安全立场的批评
Anthropic CEO Dario Amodei 公开回应 Nathan Calvin 对 Anthropic 竞逐超级智能、安全让位于竞争的批评，承认部分事例是失误，但不同意整体论断。
Dario Amodei· @DarioAmodei · X·2026-10-21 10:26· 25 分钟前AI 评分62
AI 导读
Dario Amodei 公开回应 Nathan Calvin 对 Anthropic 竞逐超级智能、安全让位于竞争的批评，承认部分事例是失误但不同意整体论断。
正文 · 原文
感谢你，@_NathanCalvin。我很欣赏并且是你为 AI 安全所做的调查工作的粉丝，我相信你的评论出自建设性、诚实的立场，而且让专门审视前沿 AI 公司行为的人存在对公众有益。我认为，如果像 Anthropic 这种规模的公司没有几乎每天都受到严厉批评，那才是有问题的；对企业权力的强力抗体是自由社会的一个健康特征，尤其是在我们面临的问题如此严重的情况下更是如此。我也确实同意你引用的一些例子是 Anthropic 的失误。
话虽如此，我不同意你帖子的主旨。核心在于，你所批评的很大一部分内容是 Anthropic 多年来坚持的基本变革理论的后果。我们的策略一直是我所说的“向上竞争”——通过展示如何负责任地构建这项技术，我们可以提高整个行业的门槛。如果践行这一策略的公司处于前沿，推动向上竞争的力量就会有效得多；这是我反复学到的一个教训。从整体上看这一策略，我为我们的过往记录感到自豪，并坚持这一策略。
我相信，如果我们列出一份 Anthropic 过去一年所做的、有利于安全且对我们造成商业损失的事情清单，它们远远超过你所列的清单，同时我也不同意你清单上的某些项目。以下是一些 Anthropic 在你所引用的同一时期（过去一年）所做的事情，它们对我们造成了巨大的商业成本，同时带来了强大的安全效益：
1. 我们在 SB53（以及其他州法律）中发挥了关键作用，当时这样做对公司来说在政治上是危险的，而且 AI 监管非常不受欢迎。事实上，我们主张的 SB53 版本比最终通过的版本更强；有很多利益相关者，我们并不是通过法案强度的限制因素。
2. 我们对我们的模型有非常强大的生物安全防护，因为我们在生物能力提升试验中看到了令人担忧的结果，甚至看到并阻止了可能滥用我们的模型制造生物武器的企图（正如几周前我们的威胁情报报告中所见）。这是一个非常严重的威胁，我们希望对其零容忍。但极低的假阴性意味着显著的假阳性（尽管我们花了数月时间改进分类器），以至于生物学家开玩笑说我们的分类器限制太严，竞争对手有时通过吹嘘他们更宽松的生物能力来向我们推销。在我们非常关心支持 Claude 用户生态系统（生物医学科学；作为生物学家，这尤其令我沮丧）的领域，这对我们来说非常痛苦，但这是正确的事情，我们打算继续这样做。
3. 同样地，我们在二月份首先推出了 Mythos 级模型，但直到六月份（当时我们已具备更强的网络安全防护措施）才将其全面开放。我们只向有限的一组合作伙伴提供这些模型，以便专注于网络防御。从经济角度而言，直接向所有人发布模型会理性得多。我们很可能牺牲了数个月模型领先优势中的很大一部分。但正因如此，许多公司在具备网络能力的模型广泛可用之前的那波洪流到来前，就已加固了其网络基础设施。当然，事情本可以做得更好或运营得更好，但这正是我们当时的目标。
4. 今年六月，我在《AI 指数级增长的政策》一文中，公开且有力地主张政府应有权阻止模型发布。当时这仍处于奥弗顿窗口之外，或者可能处于边缘，不过我理解此后窗口已经移动。我们因此受到了猛烈的攻击。
5. 我不想重新点燃冲突，但 2026 年 2 月的事件是一个有力的例证。很明显，我们的公开立场本可能严重损害公司的未来。
6. 我们持续倡导对向中国出口芯片和芯片制造设备实施出口管制，因为我们认为这能让民主国家在 AI 安全协议谈判中处于强势地位。我们这样做，尽管这给我们与行业合作伙伴的关系带来了问题——他们持有非常不同的观点，而我们又非常依赖他们。
7. 据我所知，我们是第一家、且仍是唯一一家限制向中国控制的公司（包括通过第三国运营的公司，否则将是一个重大漏洞）销售 AI 服务的前沿公司。因此，我们放弃了可观的短期业务，以防止助长那些会帮助中共军事和情报部门的 AI 平台和应用。我们也在打击模型蒸馏；一般来说，蒸馏在商业上对我们不构成重大威胁，但像芯片出口一样，它具有令人担忧的国家安全和安全影响，因此我们投入大量精力和公司资源来应对。
8. 正如你提到的，我们发布了许多报告、公告、长篇模型卡、公开倡导等，都是为了向公众告知 AI 的风险。这些所涉及的细节和努力程度，对于一个纯粹追求利润最大化的公司来说是不可想象的。
9. 就在本周，我们宣布将公司 5%（随着时间推移可能更多）的股份投入一个公共利益基金。
所有这些决定都给我们带来了非常巨大的成本。公平地说，那些涉及抑制或限制前沿能力获取的决定也带来了更广泛的成本——例如，公众本可能从生物学更快的进展中受益，所以我并不是说我们的决定没有权衡取舍——但它们并非由逐利驱动。
对于每一个决定，你都可以想出可能驱动我们的不可告人的动机——我认为这是一个普遍真理：任何决定，无论主题是什么，总是可以被描绘成一项邪恶的阴谋。但如果你仔细审视，其中大多数最终都相当牵强，或者并不完全说得通。例如，为了自己开展研究并与我们的客户竞争而封锁大片研究生物学领域，这绝非精明的商业举措，这种说法极不可信；我们预期对生态系统的益处将大大超过 Anthropic 自身所做的工作，并且两者能够相辅相成。被认为对生物学家不友好并不符合 Anthropic 的利益。我们的生命科学验证计划让经过审核的生物学专业人士能够访问我们的模型，这也驳斥了这一说法。
当然，另一群人看到这些后会提出不同的批评：Anthropic 根本就不应该决定谁可以获得什么。我同意，从理想情况来说，这些决定应该由政府来做，这也是我们倡导监管的原因。但就目前而言，我们被迫做出这些决定，而助长生物恐怖主义并不是更好的选择。
我认为，即使我承认你清单上的每一项，我也会乐于把我的清单摆在旁边；我不认为这难分高下。这当然部分是主观的，不同的人看重不同的东西。也许你可以提出的一种反对意见是，上述几项涉及 AI 滥用而非失控；如果你认为后者比前者重要得多，那可能会改变你的判断。但这不是 Anthropic 的观点——我们认为两者都是严重问题。你也可以不同意我们的决定，就像许多人那样，但这些决定是一致的。
但我也不同意你清单上的至少部分内容。一旦我们假定需要成为前沿 AI 公司的“向上竞争”战略，有几项就完全不代表对 Anthropic 战略或价值观的偏离。你的第 1-4 项都只是在前沿竞争的例证，我们坚持这些做法，既因为它们作为该战略的一部分显然是寻常之举，也因为我们整体上坚持该战略。
公平地说，有一些重要问题值得面对（我们也正在面对）：当 AI 驱动的加速快到安全难以跟上时该怎么办。我们正接近那个节点，这正是推动我们对“节奏”进行一些思考的原因。但第 1-4 项是在那个节点之前采取的行动，基于 Anthropic 作为一家公司的战略，这些行动完全在预料之中。当然，有可能不同意该战略，但那是更根本的分歧，你在过去几年中的任何时候都可能已经有过。
我同意，我们本可以更好地处理你列出的第7、8、9项。这些都属于“措辞或政策沟通未能审慎撰写，或源于快速变化的情况未能在团队间足够迅速地传递”这一类。这种情况在大型组织中屡见不鲜（Anthropic有超过5000人），甚至未必代表任何单个人的失败或错误。我当然作为CEO承担责任。Anthropic的沟通量巨大，如果这些就是最糟糕的例子，那我认为我们坦白说做得相当不错，不过我会继续努力确保我们做得更好。
你的第5项（对我们RSP的修改）是最实质性的项目，人们可以就此辩论，但我认为旧的、更僵化的RSP造成了许多情况：我们在技术上被要求做一些需要大量努力但事后看来对安全并不很重要的事情，同时也没有涵盖一些最重要的事项。我们当前RSP对透明度的关注带来了风险报告和路线图等事物，其对独立外部审查的强调为更密集的嵌入式评估奠定了基础，我认为所有这些在推动“向上竞争”方面都很有价值。在2023年9月的原始公告中，我们将RSP描述为“我们[将]在此基础上构建的早期迭代”，并称“快速迭代……几乎肯定是必要的”。我理解改变计划总是会引发合理的审视——我只是不认为我们曾表示过我们不会这样做。
关于你的第6项（在我们RSP之外设立FCF），我知道我们的意图是满足监管义务的字面要求和精神（通过我们的FCF），同时也能试验超越法律当前要求的更新颖的风险管理方法（通过我们的RSP）。我承诺进一步调查此事，因为这是一个复杂的问题，我们有可能没有以正确的方式权衡各种考虑。
总体而言，尽管Anthropic作为一个组织犯过很多错误——包括你清单上的一些项目——但我觉得我们一再采取了严肃且实质性的、违背我们底线的行动，而且存在一种显著的负面偏见，扭曲了你上面所做的那类评估。我们总会努力做得更好，但再次强调，我对我们的过往记录极为自豪并坚持于此。关于我们如何在这个快速变化的时刻进一步践行我们的价值观，我很快会有更多话要说。
感谢你抽出周末时间如此详尽地回复。我明白起草立法是困难的，一定程度的迭代和对反馈的回应是不可避免且恰当的。 然而，我觉得你的回复仍然没有真正触及我对Anthropic在此事上行为的担忧核心，这让我觉得这类问题和倾向在未来只会再次浮现。我也认为现在或许是一个好时机，让我们更宏观地退后一步，审视我们所处的境地、Anthropic如何看待自己的角色，以及像我这样关心AI安全的外部人士越来越如何看待Anthropic。 （友情提醒：这篇回复有点长） 为了解释我的意思（也冒着有点晦涩的风险），值得问一个问题：Anthropic是什么？它的领导者和员工如何看待Anthropic的角色？这种构想是否与它实际的行为和对世界的影响相符？ 一种答案是：一家极其庞大的科技公司，其存在是为了让员工和投资者变得富得令人难以置信。Anthropic有时被描述为一家初创公司，但如果Anthropic成功以2万亿美元的估值IPO（据报道这是它一直瞄准的数字），它的价值将超过Meta——后者价值1.8万亿美元。 另一种答案是：一个AI安全组织，其核心价值观正是Anthropic联合创始人在2023年那篇题为《关于AI安全的核心观点：何时、为何、什么以及如何》的文章中所阐述的那种。在那篇文章中，他们说如果我们身处一个对齐很困难的世界（而且在没有强有力的相反证据之前，我们应该假设这就是我们所处的场景）： “Anthropic的角色将是提供尽可能多的证据，证明AI安全技术无法阻止先进AI带来的严重或灾难性安全风险，并发出警报，以便世界各国的机构能够汇聚集体努力，阻止危险AI的开发。如果我们处于‘接近悲观’的场景，这可能反而涉及将我们的集体努力引导至AI安全研究，同时暂停AI的进展。表明我们处于悲观或接近悲观场景的迹象可能是突然的且难以察觉的。因此，除非我们有充分的证据表明我们并非处于这样的场景，否则我们应该始终假设我们仍可能身处其中。” 关于这一版本的Anthropic，还有更近期的阐述，例如Dario最近的文章警告说： “我们必须放慢提升AI模型能力的速度……我担心在6到12个月内，这样的集群可能能够用一个持久性僵尸网络接管整个互联网……整个行业都发生过事件，包括在Anthropic，我相信每一家前沿AI公司都有责任像OAI-HF发生在自己身上一样行事……更智能的模型更有能力欺骗测试，因此可能看起来是对齐的，却存在未被发现的严重问题……” 第三种观点是：Anthropic的存在既不是一家正常的以利润为动机的公司，也不是一个寻求帮助敲响警钟、解决AI开发相关集体行动问题的AI安全组织，而是一个主要关心在其他人之前创造出超人AI能力的组织，特别是通过创造一个流程，让当前这一代Anthropic的AI系统能够自主构建它们的后继者，那些后继者再构建它们的后继者，如此循环。 想要赢得这场竞赛的动机可能是多方面的——也许是为了答案一中的纯粹利润，但也许也因为Anthropic相信让世界变得更好的最佳方式是让他们而不是他们那些更鲁莽的同行赢得这场竞赛；或者，是出于正常的人类自尊和野心。但结果（以及Anthropic声称在存在性上威胁地球上每一个人的风险）是一样的。 Anthropic的员工和领导者可能会通过内省自己和同事的意图来回答关于Anthropic是什么的问题。但我们这些组织外部的人可用的工具更为有限——我们只能看到Anthropic及其员工说了什么、做了什么，而看不到其内部感受或面貌。 当我审视Anthropic在过去一年中采取的许多显著行动时，这些证据在我看来最符合这样一种观点：Anthropic主要是在试图赢得通往超级智能的竞赛，而其他考量（包括安全）从根本上说是次要的。这些行动包括： 1. 宣布计划建立一个内部定制芯片团队，以加速Claude运行的推理速度。 2. 签署了超过5000亿美元算力的协议（据The Information报道），以进一步加速AI开发。 3. 将Claude“主导”的AI开发任务比例从今年3月的0%提高到8月的26%（10月是多少？） 4. 将很大比例的算力用于内部AI研发以加速开发，包括使用远优于公众可用的内部模型。 5. 切换到负责任扩展政策V3，该政策放弃了在Anthropic无法提供足够风险保证时单方面承诺放缓或停止开发。 6. 是第一家创建替代性的、更弱的“前沿合规框架”来补充其RSP的公司，该框架对内部部署没有任何约束性条款。 7. 致信国会（后来撤回）称Claude黑客攻击随机人员的事件“最好理解为配置错误的后果，而非目标错位的证据”。 8. 在白宫SI协议之后评论说“你无法从第二名做安全”。 9. 向国会分享了一份法案草案，该草案将抢占州法律的重要部分（包括似乎旨在阻止各州阻止危险AI部署的措辞），并以联邦规则取而代之，这些规则（尽管也包含好的条款）似乎为行政部门阻止Anthropic或其他AI公司系统的开发或部署设置了极高的门槛。 当然，这是一份刻意片面的清单。Anthropic也发表了重要的AI安全研究，推进了与第三方AI安全组织的新型合作，并在许多公共论坛上（或在私下，我意识到许多最有价值的工作是在私下完成的，可能对我或组织外部的人不可见）有力地发声强调AI安全的重要性。 但我认为值得静下心来想想，上面这份清单在公司外部的人看来是什么样子。我的感觉是，对于公司内部的人来说，上述许多事项被视为异常或错误，并不反映Anthropic的真实面貌。但我完全相信，如果Anthropic的员工看到他们的竞争对手（例如OpenAI）采取了其中一些行动，他们会将其视为对自己所有最坏猜疑的证实。（他们甚至可能会说OpenAI的员工有点轻信，竟然表面接受其领导层对这些行为的解释。） 也许这些是错误，意思是它们不是Anthropic领导层会认可的决策，但这些行动仍然发生了，因为激励和决策最终是Anthropic领导层负责的（而且他们不会接受另一个组织类似的借口）。 当Anthropic偏离正轨并犯错时，为什么这些错误系统性地倾向于维护和偏袒Anthropic的利益？对于这项立法中每一条过于薄弱或对AI公司让步的条款，为什么没有一个朝着过于强硬方向推动的错误？ Anthropic变革理论的核心部分是，处于前沿能给你更多杠杆来倡导更严格的政策。我认为这在概念上说得通，但在实践中，我看到Anthropic在推进前沿的同时，并没有以哪怕 remotely 相当的程度推进‘安全前沿’。 我想以引用Anthropic联合创始人Chris Olah在Magnifica Humanitas发布前后的评论来结束： “每一家前沿AI实验室——包括Anthropic——都在一套激励和约束中运作，这些激励和约束有时会与做正确的事相冲突。保持商业可行性和保持在研究前沿的压力。地缘政治压力。以及更古老、更朴素的骄傲和野心压力。无论我们中任何人多么真诚地打算做正确的事——我相信我们中许多人确实如此——我们将始终受到那些激励的影响。 这就是为什么，如果我们想让这项技术发展顺利，有处于这些激励之外的人——那些关心事情顺利发展并坚持安全的人，那些密切关注的人，那些愿意说难听的话的人，那些愿意做我们真诚、深思熟虑的批评者的人——是极其重要的。” 我希望这些话被以这种建设性的精神来理解，而不是对组织中任何具体个人的攻击（当然不是你，Anthony，我个人只见过你以专业和深思熟虑的方式行事，而你只是在回复中因为随机的偶然原因收到了这篇长篇大论）。在 X 查看被引用的帖子
来源：Dario Amodei · x.com
来源：RadarAI · aihot.news