跳到正文
RadarAI· O'Reilly Radar(热点 RSS)·· 1 天前AI 评分58

AI 能写代码后程序员做什么:用 AI 起草规格、维护本体并搭建审查 harness

AI 能写代码后,程序员该做什么:用 AI 起草规格、维护本体并搭建审查 harness

AI 导读

O'Reilly Radar 作者 Shahid N. Shah 与 Andy Oram 提出,AI 承担编码后,开发者应转向三项工作:用 Plaud、Granola 等工具记录客户对话并由 AI 起草规格,人类编写带证明的 MUST/MUST NOT guardrail,维护机器可校验的本体(ontology),并搭建审查 harness。

正文 · AI 翻译

O'Reilly Radar· Shahid N. Shah 与 Andy Oram·2026-11-16 19:54· 49 分钟前AI 评分70

当 AI 能写代码时,程序员还剩下什么可做?

AI 导读

作者提出一种人机分工的开发流程:让 Plaud、Granola 等 AI 工具记录并分析客户对话来起草规格,人类负责写带证明的 guardrail、维护机器可校验的本体(ontology)以及搭建确定性 CLI、代码前闸门、二次重生成比对、每周漂移审计等审查 harness。

正文 · 原文

AI 在编程中的使用如此广泛,以至于项目维护者(尤其是自由及开源软件的维护者)都在抱怨审查大量低质量代码的负担。事实上,AI 可以在代码开发的每个阶段提供帮助:编写规格、编码、发现缺陷以及修复代码。本文介绍规格编写与代码修复阶段的人机协作,并阐述在当前这一代 AI 下,人类完成这些任务所需的技能。我们不会涉及编码和缺陷发现,因为这两方面已在别处被广泛讨论。

让 AI harness 来写规格

我们不希望开发者手写规格。我们希望他们待在一个房间里,或参加一通电话会议,与产品经理(PM)和客户交谈。

人类在写作时会达到极限。我们会跳过无聊的情况。写到第 40 条需求时我们就累了。我们在规格第 1 页用“customer”,在第 6 页却用“client”。我们写下自己记得的内容,却忘了自己曾假设过什么。AI 拥有我们所缺乏的耐心和勤勉。

人类开发者仍然需要把guardrail(护栏)或constraints(约束)写进规格:这些陈述用于确保任何严重错误都不会进入代码。每条 guardrail 都应是一句写明 MUST 或 MUST NOT 的话,并在旁边附上证明:一个测试、一项检查,或一位具名的审查人。没有证明的 guardrail 只是一个愿望。先写 guardrail,因为 PM 不会想到其中的大部分。什么情况绝不能发生?谁绝不能看到这个?agent 绝不能碰什么?

有了 guardrail,就可以录下对话,让机器来完成写作。有两款 AI 工具在分析需求方面表现得特别有用:Plaud Note 录音器可贴在手机背面,记录面对面交谈和电话通话;可穿戴的 NotePin 记录面对面交谈,但不记录电话通话。Granola 运行在你的笔记本电脑或手机上,使用电脑的音频,并分析它所捕获的内容。在规格开发方面,我们发现这些产品比常见的对话摘要 AI 工具高出一大截。

Plaud 和 Granola(如果你这样提示它们)能注意到缺失的内容,并告诉你需求中的缺口。它们会针对每一条需求反复追问:这个字段为空时会发生什么?如果两个人同时执行这个操作会怎样?谁被允许看到它?并对照程序员(通常借助 AI)创建的本体,检查需求中的每一个名词。

开发者、PM 和客户阅读 AI 的输出,修正错误之处,回答缺失的问题,然后再次走一遍这个流程。

从这一循环中产出的规格往往比同一批人单独编写的更完整、更一致。这是 Shahid 的个人经验,并非研究结论,但它与一些处于 AI 用于软件开发前沿的其他人的报告相符。Anthropic 的产品律师 Mark Pike 在不写代码的情况下为他的法律团队构建实用工具:“我只是输入了一句普通的话,描述我想要什么。然后它就能用了。”StrongDM 运营着一家由智能体编写和测试代码的软件工厂,它表示一个软件项目的起点可以是“几句话、一张截图,或一个现有的代码库。”

功能上线后要保留规格。当你明年准备产品的新版本时,它可以告诉你代码为何是现在这个样子。

数据模式是规格的另一半

大多数团队把数据模式当作管道工程。表由谁先到谁命名。反映人类对话的规格,可能在不同地方用 customer、account、client 和 org 指代同一个东西,而你必须为模式选定一个名词。人类通过坐在编写者旁边来学会这种映射。AI 智能体没有邻居可咨询,所以它只能猜——结果很可能周一到周二就不一样。

因此,开发者必须维护一份本体,在这里它指的是一份书面、机器可校验的说明,描述程序所操作的事物、它们之间的关系,以及谁可以查看它们。例如,在一个预约排程应用中,本体可能定义 Patient、Doctor、Appointment 和 Time Slot。它会规定一个 Patient 可以预约多个 Appointment,每个 Appointment 必须恰好对应一个 Doctor,一个 Doctor 在同一 Time Slot 不能有两个 Appointment,并且只有获得授权的人才能查看或更改 Appointment。这些不只是数据库表或字段。它们是赋予数据意义的业务概念、关系和规则。

创建这份本体要求开发者识别术语、消除歧义,并就所有人可能原本以为显而易见的规则达成一致。这是一项严谨、有时枯燥的工作,但它是必不可少的人类责任。本体将业务想要什么(需求)、软件应如何表现(规格)以及信息如何存储(模式)连接起来。它还为 AI 编码智能体提供了它们所构建内容的精确定义,而不是让它们去猜。

本体不必是一个大学项目。从二十个术语开始,AI 可以帮你从规格中生成它们。规格中的每个名词都映射到一个类型。每个类型都指回为其提供依据的规格。如果任何一方成为孤儿,检查就会失败。每条记录从第一天起就说明谁可以查看它,如果没有说明,规格就默认采用限制最严的受众。

在你发明自己的词汇之前,先使用像 schema.org 这样的标准词汇。前沿 AI 模型读过的关于 schema.org 的内容远多于关于你私有名称的内容,因此标准术语会自带其含义。我们预计这会让模式更有用,尽管我们尚未验证这一假设。你对发票的命名不是一项功能,所以不必在这上面发挥创意。

随着客户需求变化,开发者必须更新本体以跟上变化。

所以,简而言之,流程就是利用 AI 基于客户陈述的需求来制定规格说明。然后由人类开发本体(通常也与 AI 协作完成),再用它来创建一致的 schema。最后,创建并测试代码。走另一条路的团队最终会让智能体针对定义不清的词汇表编写代码,导致审查者要花一个下午甚至一周的时间去弄明白它到底是什么意思。

本体可能有助于避免一个相互对应的问题:组织内不同部门对同一个术语赋予不同的含义。

我们承认,我们无法证明你一定需要这一切。Anthropic 让十六个智能体编写了一个 C 编译器,研究人员说验证器必须近乎完美。他使用 GCC 作为已知良好的参考。编译器有这样的参考。大多数公司没有。对于“这位客户能否查看这份文档”或“这份合同能否进入下一阶段”这类问题,没有人拥有一个 GCC。我们打赌,规格说明和 schema 就是针对这类问题的测试套件。

现在来谈 bug 修复。

不要跟在 AI 后面收拾烂摊子。要构建能收拾烂摊子的工具。

一个智能体可以在午饭前就交给你一个 3,000 行的拉取请求。有了 AI 编程,审查突然变得比编写昂贵得多。当一个人是第一道防线时,这个人就成了瓶颈,然后开始走马观花,这几乎和不审查一样糟糕。

通常的建议是更用力地审查。我们更希望人读得很少,而他们读到的内容值得花时间。例如,阅读规格说明、阅读测试框架以验证规格说明、完善本体是值得的,但审查通过测试的生成代码可能就不值得了。开发者承诺会在 AI 的烂摊子出现时收拾干净。别信。

那个构建了一款没有手写代码的产品的 OpenAI 团队试过这么做。他们每周五——一周的五分之一时间——都在清理他们所谓的“AI 垃圾”。这没能持续下去。于是他们把护栏写成“黄金原则”,设置了一个智能体来扫描过时的文档并提交修复拉取请求,还把 lint 消息写成“向智能体上下文注入修复指令”。一个活的检查不仅会在有 bug 的代码上失败,它还会告诉智能体如何修复问题。

我们会首先构建的测试框架包括:

  • 一个确定性地构建、不调用 AI 的命令行,以确保流程的最高层不会朝意想不到的方向发展。
  • 代码之前的一道关卡。如果某个变更触及了代码,而规格说明或 schema 中没有任何变化,就停下来问为什么。
  • 第二遍检查。在这里,任何生成的内容都会从头重建,并与已提交的内容进行比较。如果 Git 发现了本不该存在的差异,这可能是一个重要的审查发现,它值得修改护栏,而不是手写新代码。
  • 每周一次的漂移审计。它列出引用了不存在的需求的规格说明、没有证据的需求、在任何地方都未使用的 schema 术语,以及没有指明任何需求的测试。它标记可疑之处并提供解决方案。它是只读的;由人来做选择并决定如何处理。
  • 从每一次捕获到永久检查的一条路径。构建客服智能体的 Sierra 让专家对抽样的对话进行标注,这些标注“成为智能体回归测试的基础”。测试框架应该升级其编码方式,使每个 bug 只发生一次,并且将来可以被测试框架避免。
  • 对智能体可以做什么的限制。有些操作由它们自行执行,而另一些它们只能提出建议。有些操作归属于某个具名的人,由其附上理由签署。想要做出决策的智能体会撰写一份提案。

StrongDM 弄清了最后两条要点为何重要。他们的智能体了解到,return true 是“通过范围狭窄的测试的好办法”,因此他们使用端到端的“场景”(通常存储在代码库之外)作为编码智能体看不到的留出测试。这一原则与调查机构内部的道德违规行为相同:我们希望调查由机构之外的人进行。

我们应当说明 Shahid 目前的 harness 在哪些方面存在不足。据我们所知,目前还没有任何机制检查需求中的名称是否也存在于规格中。此外,该项目没有运行持续集成服务,也没有自动钩子,因此运行检查只是一种习惯,而非规则。这些是他们接下来要构建的东西,而构建它们是人类的工作。

借助本文描述的技术,过去不断失控的审查负担实际上缩小了。一个人阅读一份简短的规格,每一行都有证明,其余部分由机器检查。

在开发者的职位描述中加入三条新内容

我们建议下周一你尝试修改职位描述,以反映本文开头所述的任务。告诉每位开发者:

  1. 你负责与 PM 和客户对话,harness 据此起草规格和护栏。只有当每项需求都有证明时,规格才算完成。
  2. 你负责本体。规格中不在最终 schema 里的词意味着一个 bug。
  3. 你负责构建审计和修复代码库的 harness。如果你在手工清理代码,说明 harness 缺少了某些东西。

在一个功能上试用这个流程。在录制对话前先征得许可。Plaud 自己的指南是提前告知人们,同时指出各地法规有所不同。Granola 已经撰文介绍了如何告知被转录的人。知道你在录音以便准确获取需求的客户通常不会介意。

让 harness 起草规格。阅读它列出的缺口。对照本体检查每一个名词。添加一项本可以捕获你最近手工修复的 bug 的检查。如果你的审查变短而 bug 数量保持不变,就继续下去。

这个流程是什么,不是什么

本文源于 Shahid 的经验,代表我们的观点,我们无法指出一项对照研究。但几十年来程序员和软件架构师得到的几乎所有建议也同样缺乏对照研究。(请参阅 O'Reilly 的著作 Making Software 中关于软件领域严谨研究的讨论。)我们可以列举一些公司,它们相信通过遵循本文概述的大致流程,自己变得更高产、对客户更响应。

一些看到我们列出的三条职位描述的人认为我们在把开发者变成文书工作者。我们的看法相反。程序员负责的是高层次任务,这些任务不属于架构、编码和测试的旧分类。我们打赌,你和你知道的每一位开发者都会在几年内做类似的事情。

来源:O'Reilly Radar · oreilly.com

来源:RadarAI · aihot.news