Claude Code 团队如何设计验证环节
How the Claude Code team thinks about verification
Claude Code 团队称其约 90% 的代码由 Claude 编写和审查,内部测试中让独立的评分器按评分标准检查 Claude 的产出,任务成功率比标准提示词循环最多提升 10 个百分点,难题上收益最大。
在 Claude Code 团队中,我们绝大多数的代码(约 90%)都是由 Claude 编写并由 Claude 审查的。在这种规模下,我们如何让智能体用证据来验证自己的工作就变得极其重要。
验证循环是让你能把更多工作委托给 Claude 的基本构件。没有它们,你实际上只能同时运行一两个 Claude,因为所有事情都得你自己检查。有了它们,你可以并行运行几十甚至几百个。
这是因为给智能体提供验证其输出的方式是提升质量的有效途径。在围绕结构化文件生成的内部测试中,让一个独立的评分器依据评分标准检查 Claude 的工作,相比标准的提示循环将任务成功率最多提升了 10 个百分点,在最难的问题上收益最大。
过去验证成本高昂的东西(测试、基准、规格、真实的端到端运行)现在向智能体索取的成本很低。就像代码一样,智能体可以快速生成测试、基准和规格。而且一旦生成,这些测试和基准就作为软件运行,因此可以频繁运行而无需消耗大量额外的 token。
你还可以利用结果来提升智能体在该任务上的表现,从而闭合验证循环。例如,如果某个智能体反复无法通过一项检查日志中用户数据的测试,你可以在 CLAUDE.md 中创建一个钩子或更明确的规则,以避免未来出现问题。这(基本上)能阻止问题再次发生。
那么,如果验证对于高速产出高质量代码至关重要,你应该使用哪些类型的测试,又该如何在整个流水线中应用它们?本文回答了这些问题,并分享了 Claude Code 团队使用的流程。
并非所有测试生而平等:值得投入的 3 种测试
无论你选择哪种测试类型,都有一些失败模式需要避免。
如果你的测试不稳定,你就会训练智能体去重新运行它们,而不是修复失败的代码。如果你的测试很慢,智能体在批次中做的测试就会更少,这会让定位问题变得困难。较重的测试最好在你提交更改之前部署。
现在,以下是我认为最值得投入的三种测试类型。
端到端测试
如果你只能专注于一种测试类型,那就选端到端。这些测试描述真实的用户流程,比如将商品加入购物车、结账并跳转到确认页面。
端到端测试之所以如此有效,是因为它们很难被糊弄——要么整个功能正常工作,要么就不工作。它们还有明确的完成标准,并能具体告诉你哪里坏了。

虽然单元测试更快、更稳定,但有可能通过它们却仍然破坏了功能。这是因为智能体和测试都没有理解完整任务。
对于端到端测试,让智能体在真实运行的系统上拥有手和眼是有效的。你可以使用技能,借助 CDP、模拟器或 API 测试框架等工具来启动、驱动和检查应用。
功能地图可以作为智能体的指南和评分标准,因为它们通常从用户视角列出功能,并描述路径、键盘快捷键、选择器和预期结果。
属性测试:无法被打破的约束
很多测试都基于你认为可能出错的地方。属性测试关注的是人们容易忽略的边界情况,而这正是智能体经常失败的地方。
你先写下一个你认为不可能失败的断言,然后用测试库(JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest 等)生成数千个输入来试图证伪它。
几乎每个软件项目里都有许多属性,比如:
- 往返编码:“如果你对 X 编码再解码,得到的还是 X。”这对解析和序列化同样适用。
- 不变量:必须始终成立的事情,比如“账户余额永远不能为负”。
- 幂等性:执行某个操作(迁移、规范化、重试)两次与执行一次的效果相同。
- 等价性:优化后的代码产生的结果与朴素但正确的代码相同。
属性测试库是让智能体保持诚实的好方法,因为它使用的边界情况不会带有创建原始代码的智能体那样的偏见。当规格已经偏离生产行为、不再是可靠的验证依据时,它们对重写尤其有帮助。
差分测试:旧系统就是标准答案
差分测试对功能预期保持不变的大规模迁移场景尤其有效。在这类测试中,你用相同的输入同时运行旧系统和新系统,看结果是否不同。如果不同,就说明存在需要修复的缺陷或破坏性变更。
差分测试的关键是使用随机生成的输入或生产流量样本。你还需要规范化空白字符等无关因素,并维护一份已批准变更的清单,用于新环境应当与旧环境不同的情况。
CLAUDE CODE 团队如何看待验证
我们之前写过Anthropic 的代码审查是如何运作的,但本文旨在更深入地探讨我们如何验证自己的工作。
验证意味着运行变更
端到端运行应用比测试更重要。你不会没在模拟器里试过就发布 iOS 变更,Claude 也是如此。
Claude 可以像人类或 QA 工程师那样测试整个应用。对于 Web 变更,让它使用 Claude Chrome 扩展;对于移动端,使用 iOS 或 Android MCP;对于桌面端,使用 computer use;对于后端工作,在本地运行服务。
为了把如何启动模拟器或运行应用固化下来,创建一个名为 verify 的技能。把它放在仓库的 .claude/skills/ 文件夹中,尽可能靠近相关代码,并按需添加多个。Claude 知道在提交变更前使用 verify 技能。
然后投入精力让你的 verify 技能快速且可靠。让 Claude 对它进行迭代和压力测试。这是你的冒烟测试工具,所以要让它坚如磐石。
当你给 Claude 一种端到端冒烟测试其变更的方法时,你会得到好得多的结果。你会看到它像人类一样迭代并更快地发现真正的错误。我们在 Anthropic 几乎所有的变更都是这样测试的。
失败的测试需要人工关注
没有人能阅读每一个变更,所以我们把失败作为决定哪些需要人工介入的一种方式。Claude 运行检查并尝试修复任何失败项。如果检查在三轮之后仍然失败,Claude 会停下来并引入人工。
代码所有者编写自己的检查
拥有代码的人为代码编写检查项,并不断改进它们,直到它们能标记出代码所有者会标记的问题。当某个检查项引入审查者时,它应当说明原因,这样审查者就不必从 diff 中自行推断。
可靠性检查在 diff 上触发
我们维护一份包含 39 个项目的可靠性清单,每个项目都有一个可从 diff 中读取的触发条件、一个检查项,以及其背后的事故或 PR。其中一项是“--resume 加载旧记录”。当会话存储或消息类型发生变化时,我们会询问新字段是否能安全加载,因为旧记录不会有该字段。
Claude 读取 diff,只检查触发条件匹配的项目——通常是 3 到 10 个——这样就不必有人去记住过去的故障。
一个审查者,多轮审查
我们不试图通过堆叠更多审查者来改进审查。在主审查者之上再增加一个更昂贵的第二审查者,往往比调优主审查者更糟糕。相反,我们有一个 REVIEW.md,说明审查者应针对此代码关注什么。
我们还认为审查和验证轮次应当相互叠加。我们让每一轮都基于前几轮的上下文和过去的失败,而不是从头重新检查所有内容。这样成本更低,也能发现更多问题。
变更不能修改自己的检查
如果一项变更可以修改评判它的检查,那么该检查就是失效的。代码审查从基线或默认分支读取 REVIEW.md 文件,绝不从拉取请求的变更中读取。Claude Code 团队确保用于把关变更的规则位于变更无法修改的分支上。
Claude Code 团队还将审查限定于提交。如果在审查进行时有人推送,那么审查结果就不再有用。对过时提交的通过审查毫无意义。
团队还先运行成本低的检查。如果 agent 在本地测试之前就推送,它就占用了共享的审查和 CI 时间,而它本可以自己发现这个 bug。在我们的团队中,Claude 在打开拉取请求之前会运行测试、构建和 linter。你可以通过一个 hook 来强制执行,在 Claude 完成时运行测试,或者设置一个 /goal 为测试套件通过。
以观察模式启动新的关卡
在我们自己的仓库中,我们为每个提交打上验证方式的标记。该标记甚至包含“none”,以便我们可以查询未经验证的提交。
我们还创建了一个提交关卡,如果会话中不包含 /code-review 或 /verify,就可以阻止提交。我们为其设置了关闭、观察和执行三种模式。
观察模式会记录本应被阻止的内容,以便我们审查任何误报并确保没有人受到影响。
执行模式将阻止提交。任何提交都可以在其消息中附带说明,解释为何未经验证。如果会话中提交已被阻止两次,下一次将被允许通过,以免 Claude 卡住——Claude Code 并不完美。
用真正重要的内容测试你的检查
Claude Code 团队还定期审查审查者。我们跟踪有多少已合并的变更被回滚、维护者在合并前拒绝了多少变更,以及一组规模匹配且保持干净的变更。
这也可以通过正式评估来完成。在我们的代码审查文章中,我们描述了代码审查团队如何基于以往的事故和回滚建立了一套评估。他们针对每个示例将仓库重建到审查时的状态,并提供一句话的答案要点说明 bug 是什么。只有正确描述相关 bug 的发现才能得分。他们使用已合并且稳定的变更作为对照,以防止过度标记。他们的调优集与用于评估系统的固定测试集是分开的。
他们还分别评估了原始发现、验证后和最终审查的召回率。这让他们能够看出系统是否在丢失已经发现的 bug。任何将这些都视为单一端到端分数的评估都无法捕捉到这种细微差别。
除了有效性之外,我们关心的另一个维度是做出这项改动有多重要。优秀的审查者能发现大多数技术上正确的问题,但人们关心的是某个 bug 是必须修复、应该修复还是吹毛求疵。
代码审查正是采用了这一思路,会将问题标记为重要、吹毛求疵或已存在。“已存在”标签意味着审查者不应让作者为本来就存在的 bug 负责。
最后,Claude Code 团队会将召回率调高到这样一个程度:再进一步改进就会过拟合评估,而不是真正发现 bug。
将遗漏转化为规则
在 Claude Code 仓库中,我们有两种方法将遗漏的案例转化为规则。第一种是从人工代码审查评论和 PR 回滚中提取模式,以识别常见问题。这些问题必须至少出现在两个 PR 中,并且能够从 diff 中识别出来,才能被视为潜在规则。三个智能体会尝试反驳它们,并且它们会在 PR 中由人工审查和批准。
第二种方法是将三个 bug 查找器重放到与已知事故相关的 PR 上。如果至少有两个查找器发现了该 bug,那么它就是一个可检测的 bug。如果在一个小的 diff 上遗漏了该 bug,这就是一个值得转化为 REVIEW.md 中规则的缺口。
不稳定的测试也得到同样的处理。Claude 不能跳过它们、添加 sleep 或重试直到它们通过。如果它找不到根本原因,就删除该测试并写下原因。
规则也需要清理。测试套件、验证步骤和 .md 文件只会越积越多,所以我们定期整理它们。
好的测试,好的结果
我们发现,为你的智能体提供一种通过强反馈循环来验证其工作的方法,会带来天壤之别。像对待任何其他系统一样对待你的验证层。让它远离它所评判的改动,根据对你重要的 bug 对它们进行评分,并在它们遗漏某些东西时写下教训,以免再次发生,并修剪这些教训,使它们始终值得运行。
这样做之后,你的工作就会从阅读每一个 diff 转变为定义“完成”是什么样子并审查证据,这正是让你能够同时运行多个 Claude 的原因。
来源:Hacker News · claude.dev