跳到正文
RadarAI· X:Addy Osmani (@addyosmani)·· 15 小时前AI 评分71

Claude Code 团队如何验证 Agent 产出:三类测试与验证回路实践

AI 导读

Claude Code 团队约 90% 的代码由 Claude 编写和审查,其验证回路让并行运行数十到数百个 Agent 成为可能。团队推荐优先投入端到端测试,辅以属性测试和差分测试,并用 verify 技能、REVIEW.md 和提交关卡把验证固化进流水线。内测中让独立评分器按评分标准检查 Claude 的工作,相比标准提示词循环任务成功率最多提升 10 个百分点,问题越难收益越大。

正文

Addy Osmani· @addyosmani · X·2026-11-17 15:20· 47 分钟前同事件AI 评分79

How the Claude Code team thinks about verification

AI 导读

Claude Code 团队分享其验证方法论,约 90% 的代码由 Claude 编写和审查,验证回路让并行运行数十到数百个 Agent 成为可能,内测中用独立 grader 按评分标准检查可将任务成功率提高最多 10 分。

同一件事,精选收录的是《Claude Code 团队如何设计 Agent 验证与测试流程》

在 Claude Code 团队,我们绝大多数的代码(约 90%)都是由 Claude 编写、并由Claude 审查的。在这种规模下,如何让智能体用证据来验证自己的工作,就变得极其重要。

验证闭环是让你能把更多工作交给 Claude 的基本单元。没有它,你基本上只能同时跑一两个 Claude,因为所有东西都得自己检查。有了它,你就能并行跑几十甚至上百个。

原因在于,给智能体一个验证其输出的途径,是提升质量的有效手段。在围绕结构化文件生成的内部测试中,让一个独立的评分器按评分标准检查 Claude 的工作,相比标准的提示词循环,任务成功率最多提升了 10 个百分点,而且越难的问题收益越大。

过去验证成本很高的东西(测试、基准、规格说明、真实的端到端运行),现在让智能体来做成本很低。和写代码一样,智能体能快速生成测试、基准和规格说明。而且一旦生成,这些测试和基准就以软件形式运行,可以频繁执行,不必额外消耗大量 token。

你还可以用验证结果反过来提升智能体在该任务上的表现,从而闭合验证回路。比如,如果智能体反复通不过某个检查日志中是否含用户数据的测试,你可以在 CLAUDE.md 里加一个钩子或更明确的规则,避免以后再出问题。这样基本能防止问题再次发生。

所以,既然验证对高速产出高质量代码如此关键,那该用哪些类型的测试,又该如何把它们贯穿到整个流水线中?本文回答这些问题,并分享 Claude Code 团队的做法。

测试并非生而平等:值得投入的 3 类测试

无论你选哪种测试类型,都有几种失败模式要避开。

如果测试不稳定,你就会把智能体训练成重跑测试,而不是去修出错的代码。如果测试很慢,智能体就会少跑几批测试,导致问题难以定位。较重的测试最好在你提交改动之前运行。

下面是我认为最值得投入的三类测试。

端到端测试

如果只能聚焦一类测试,那就选端到端。这类测试描述真实的用户流程,比如把商品加入购物车、结账、跳转到确认页。

端到端测试之所以有效,是因为它很难被糊弄——整个功能要么能用,要么不能用。它还有明确的完成标准,能具体告诉你哪里坏了。

单元测试虽然更快、更稳定,但有可能测试通过了,功能却依然是坏的。这是因为智能体和测试都没有理解完整任务。

对于端到端测试,让智能体真正上手、亲眼观察运行中的系统是有效的做法。你可以用一个技能,借助 CDP、模拟器或 API 测试框架等工具来启动、驱动并检查应用。

功能地图可以作为智能体的指南和评分标准,因为它通常从用户视角列出各项功能,并描述路径、键盘快捷键、选择器和预期结果。

属性测试:不可打破的约束

很多测试基于你预想中可能出错的地方。属性测试则关注人们容易忽略的边界情况,而这正是智能体经常出错的地方。

先写一条你认为不可能失败的断言,再用测试库(JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest 等)生成成千上万个输入,试图证明它不成立。

几乎每个软件项目里都有许多这样的性质:

  • 往返编码:“把 X 编码后再解码,得到的还是 X。”解析和序列化同样适用。
  • 不变量:必须始终成立的条件,比如“账户余额永远不能为负”。
  • 幂等性:同一个操作(迁移、归一化、重试)执行两次和执行一次效果相同。
  • 等价性:优化后的代码与朴素但正确的代码产出相同结果。

性质测试库能生成各种边界情况,而这些边界情况不会带有当初写代码的智能体那样的偏见,因此是让智能体保持诚实的好办法。在重写场景中它们尤其有用:此时规格说明已经和生产行为脱节,不再是可靠的验证依据。

差分测试:把旧系统当作标准答案

差分测试特别适合大规模迁移这类功能预期保持不变的场景。做法是用同样的输入分别运行新旧两个系统,看结果是否不同。如果不同,就说明存在需要修复的缺陷或破坏性变更。

差分测试的关键在于使用随机生成的输入,或者从生产流量中采样。此外还要归一化空白字符等无关因素,并维护一份已批准的变更清单,用于新环境本就应当与旧环境不同的情况。

Claude Code 团队如何看待验证

我们之前写过 Anthropic 的代码审查是如何运作的,本文则想更深入地谈谈我们如何验证自己的工作。

验证意味着真正把改动跑起来

端到端运行应用比测试更重要。你不会没在模拟器里试过就发布 iOS 改动,Claude 也一样。

Claude 可以像人类或 QA 工程师那样测试整个应用。让它用 Claude Chrome 扩展测试 Web 改动,用 iOS 或 Android MCP 测试移动端,用 computer use 测试桌面端,或者在后端工作中本地运行服务。

要把如何启动模拟器、如何运行应用固化下来,可以创建一个名为 verify 的技能。把它放在仓库的 .claude/skills/ 文件夹里,尽量靠近相关代码,需要几个就建几个。Claude 知道在提交改动前使用 verify 技能。

然后要投入精力让 verify 技能又快又可靠。让 Claude 反复迭代并做压力测试。这是你的冒烟测试工具,必须做到万无一失。

当你给 Claude 一个端到端冒烟测试自己改动的方法,结果会好得多。你会看到它像人一样反复迭代,更快地发现真正的错误。我们在 Anthropic 几乎所有的改动都是这样测试的。

测试失败需要人工介入

没人能读完每一处改动,所以我们把失败作为判断哪些改动需要人工介入的依据之一。Claude 会运行检查并尝试修复所有失败项。如果某项检查经过三轮仍然失败,Claude 就会停下来,请人介入。

代码所有者编写自己的检查

写代码的人自己来写检查规则,并不断打磨,直到这些规则能标出他们本人会标出的问题。当某项检查触发、需要人工复核时,它应当说明原因,这样复核者就不必自己从 diff 里推断。

可靠性检查由 diff 触发

我们维护了一份包含 39 个条目的可靠性清单,每个条目都有一个可从 diff 中读取的触发条件、一项检查,以及它背后的故障事件或 PR。其中一条是“--resume 会加载旧的对话记录”。当会话存储或消息类型发生变化时,我们会追问新字段能否安全加载,因为旧记录里不会有这个字段。

Claude 读取 diff,只检查触发条件匹配的条目——通常 3 到 10 条——这样没人需要去记住过去的故障。

一个复核者,多轮审查

我们不靠堆叠更多复核者来改进审查。在主复核者之上再加一个更昂贵的第二复核者,往往不如把主复核者调好。我们的做法是维护一份 REVIEW.md,写明针对这类代码复核者应当关注什么。

我们还认为,审查与验证的轮次应当层层递进。每一轮都指向此前轮次和过往失败提供的上下文,而不是从头重新检查所有内容。这样成本更低,也能发现更多问题。

变更不能修改自己的检查

如果一项变更能修改评判它的检查,那这项检查就已经失效了。代码审查从基线分支或默认分支读取 REVIEW.md 文件,绝不从拉取请求的改动中读取。Claude Code 团队确保用于把关变更的规则位于变更无法修改的分支上。

Claude Code 团队还规定审查只针对具体的提交。如果有人在审查进行时推送了新提交,审查结果就不再有用。对一个过时提交的通过审查毫无意义。

团队还会先跑成本低的检查。如果智能体在本地测试之前就推送,它就占用了共享的审查和 CI 时间,而这些问题本可以自己发现。在我们团队,Claude 会在发起拉取请求前先运行测试、构建和 linter。你可以用一个 hook 在 Claude 完成时运行测试,或者用 /goal 要求测试套件通过,来强制执行这一点。

新关卡先以观察模式启动

在我们自己的仓库里,我们会给每个提交打上验证方式的标记。标记甚至包括“none”,这样我们就能查询出未经验证的提交。

我们还创建了一个提交关卡,如果会话中没有包含 /code-review 或 /verify,就可以阻止提交。我们为它设置了 off、observe 和 enforce 三种模式。

观察模式会记录本应被阻止的提交,这样我们可以复查误报,确保没有人受到影响。

强制模式会阻止提交。任何提交都可以在提交信息中说明为什么没有经过验证。如果会话中提交已被阻止两次,下一次提交将被放行,以免 Claude 卡住——Claude Code 并不完美。

用真正重要的东西来检验你的检查

Claude Code 团队还会定期审查复核者本身。我们跟踪有多少已合并的变更被回滚、维护者在合并前拒绝了多少变更,以及一组规模相当的、始终保持干净的变更。

这也可以通过一套正式的评估流程来实现。在代码审查的博文中,我们介绍过 Code Review 团队如何基于以往的事故和回滚建立评估。他们会把每个示例的仓库还原到审查当时的状态,并给出一句话的答案,说明 bug 是什么。只有正确描述该 bug 的发现才能得分。他们用已合并且稳定的改动作为对照组,防止过度标记。调优集与用于评估系统的固定测试集是分开的。

他们还分别评估了原始发现、验证后和最终审查三个阶段的召回率。这样就能看出系统是否在丢掉已经发现的 bug。如果把所有这些合并成一个端到端分数,就捕捉不到这种细微差别。

除了有效性,我们关心的另一个维度是这项改动有多重要。好的审查者能发现大多数技术上正确的问题,但人们真正关心的是某个 bug 属于必须修、应该修还是吹毛求疵。

Code Review 正是这么做的,它会把问题标记为重要、吹毛求疵或既有问题。“既有问题”标签意味着审查者不应让作者为本来就存在的 bug 负责。

最后,Claude Code 团队会把召回率调高到这样一个临界点:再往上提升,就是在对评估过拟合,而不是真的在抓 bug。

把漏掉的问题变成规则

在 Claude Code 仓库里,我们有两种把漏掉的案例变成规则的方法。第一种是从人工代码审查评论和 PR 回滚中提取模式,找出常见问题。这些问题必须至少出现在两个 PR 中,并且能从 diff 中识别出来,才算潜在的规则。会有三个智能体尝试证伪它们,再由人工在 PR 中审查批准。

第二种方法是让三个 bug 查找器重放一个与已知事故相关的 PR。如果至少有两个找到了这个 bug,就说明它是可检测的 bug。如果在小 diff 上漏掉了这个 bug,这就是一个值得写进 REVIEW.md 规则的缺口。

不稳定的测试也照此处理。Claude 不能跳过它们、加 sleep 或者一直重试到通过。如果找不到根本原因,就删掉这个测试并写下原因。

规则也需要清理。测试套件、验证步骤和 .md 文件只要放任不管就只会不断膨胀,所以我们会定期整理。

测试做得好,结果自然好。

我们发现,给智能体一个能通过强反馈回路验证自身工作的方法,效果会截然不同。要像对待其他任何系统一样对待你的验证层。让它接触不到它所评判的改动,用对你真正重要的 bug 来给它打分,在它漏掉问题时记下教训,避免同样的问题再次发生,并定期修剪这些教训,让它们始终值得执行。

做到这些,你的工作就会从阅读每一个 diff,转变为定义“完成”是什么样子并审查证据,而这正是让你能同时运行多个 Claude 的关键。

来源:Addy Osmani · x.com

事件后续 · 1

查看事件全部

来源:RadarAI · aihot.news