CodeRabbit 创始人谈软件工厂与代码评审:月耗 25 万美元 AI 支出、单月提交 5000 个 PR
Software factories and code reviews with Harjot Gill
CodeRabbit 创始人兼 CEO Harjot Gill 在 The Pragmatic Engineer 播客中介绍,他上月用智能体提交了超过 5000 个 PR,AI 月支出约 25 万美元,单个 PR 成本约 150 美元,团队规模为 40 名工程师。
现在就在 YouTube、Apple 和 Spotify 上收听和观看。本页顶部可查看本期节目文字稿,底部可查看本期节目时间戳。
本期赞助商

• turbopuffer ——一个可扩展性极强、快速且廉价的混合搜索引擎,构建于对象存储之上,被 Anthropic、Linear、Ramp 等众多前沿公司使用。许多改用 turbopuffer 的公司将搜索成本削减了 50% 甚至更多,并获得快得多的结果。了解一下。
• Entire ——Entire 推出了自己的 Git forge,发布了 Continuous Memory,并重新发明了拉取请求(称为 Trails)。当智能体在根据反馈迭代后不断推送新更改时,Trails 是一种自然得多的工作流——而且你对更改何时可以合并拥有更多上下文和控制权。了解一下
• WorkOS——WorkOS 构建了 Airlock,这是面向 AI 智能体的授权层。它会根据智能体的意图和你的规则评估每个请求,然后允许、拒绝或将其转交给人工处理。可与 Claude Code、Codex 和 MCP 网关配合使用。了解更多
本期内容
在这次对话中,我们走进一位深度拥抱 AI 的 CEO 的世界,探索他的初创公司如何运作。本期节目也可以说是一种成功之道,它违背了日益流行的观点:AI 支出成本过高,必须加以控制。
Harjot Gill 是 AI 代码审查公司 CodeRabbit 的创始人兼 CEO,他上个月提交了 5,000 多个拉取请求,AI 月度支出达到 250,000 美元(!)。这显然不是常规做法,Harjot 详细讲述了背后的思考与推理。
在本期 The Pragmatic Engineer Podcast 中,我们聊了他过去 30 年构建软件和创办基础设施初创公司的背景,以及事情如何演变为在 CodeRabbit 构建软件工厂的时代。我们谈了他为什么认为人工代码审查已死,以及他的团队如何在以前所未有的速度交付的同时保持质量。
我们还谈到了 AI 开发不断上升的成本、为什么 Harjot 坚信科技初创公司比以往任何时候都更需要资金,以及 AI 如何改变招聘和成功所需的技能。
与 Harjot 对话的要点
1. 上个月 5,000 个 PR 中很大一部分是杂务工作,由智能体推送完成。他让智能体去改进 CI 等系统、修复不稳定的测试、优化缓存。很多 PR 是在他通勤途中以及晚上和夜间生成的。在少数情况下,他会引导智能体让 UI 体验更好。Harjot 构建过的东西示例:
使用 Rust 在对象存储之上构建的预写日志(WAL)(智能体运行了六周!)。这个 WAL 现已投入生产。
将 CodeRabbit 的所有服务迁移到 Bun——在一个周末内完成
在之前的 CI 系统出现性能问题后,构建了一个新的 CI 系统
2. CodeRabbit 每月在 AI 上花费数百万美元,团队有 40 名工程师。Harjot 估计,每个 PR 大约花费他 150 美元,而他每月的个人支出约为 25 万至 27.5 万美元。他将其与 VC 投资的公司中拥有 10 名营销人员的营销团队相比,后者可以推动 1 亿美元的支出。我指出他的初创公司是个异类;我在其他地方听说的 AI 支出大约在每个开发者每月 200 至 2000 美元之间。弄清楚这种支出如何合理,是我渴望见到 Harjot 的原因之一。
3. 对于像 CodeRabbit 这样的开发工具初创公司来说,通过更快地推出新的、与 AI 相关的产品,可以证明巨额 AI 支出是合理的。在我看来,CodeRabbit 不是一家典型的公司:如果它的 AI 支出能创造出可以商业化和销售的新解决方案,那么这种支出就是一种研发形式。在拥有固定客户群、愿意为现有产品支付一定金额且不再多付的地方,情况就不一样了。
此外,Harjot 说他们曾收到一份每年 1300 万美元的 CI 解决方案报价,用于处理他们的 PR 输出,但价格让他决定用智能体构建自己的 CI 系统。这花了一周时间,新的 CI 成本比报价低 50%,性能相似。
4. 2021 年,Harjot 相信 AI 将编写大部分代码。在 FluxNinja 工作时,Harjot 发现代码审查已经成为一个瓶颈,而 GitHub Copilot 的自动补全在一定程度上加快了代码编写速度。他误判了潜在市场规模,以为只有购买了 Snyk 和 SonarSource 等代码验证解决方案的大公司才会购买 AI 代码审查工具——但实际上,几乎所有人都会买!
5. Harjot 认为智能体需要“爬山”;它们需要有方法来验证自己的工作
这些是他认为必要的层次,包括他和团队使用的层次:
像 TLA+ 和 Lean 这样的形式化模型。对于他们的一个产品,工程团队使用了 TLA+,并发现了代码审查忽略的竞态条件。最近,Harjot 正在试验另一种形式化方法 Lean。
本地确定性模拟。Harjot 的初创公司构建的基础设施之一是一个模拟测试框架,用于模糊测试不同的交错(并发操作)。
模拟真实 API。Harjot 作为测试的一部分,模拟和仿真像 Google Cloud API 这样的 API。
开发环境。智能体可以在 Google Cloud 和 Vercel 等环境中启动服务,并确认它们在开发部署中正常工作
生产:分阶段推出。Harjot 相信通过功能标志发布功能,并进行渐进式推出。他说他们经常让一个智能体观察推出的性能特征,检查日志,并在情况稳定时继续更广泛的推出。最后这部分让我想起 OpenAI 软件工厂内部的 Perf Factory。
6. 人类代码审查已死,人类审查万岁!Harjot 认为我们将停止审查智能体生成的代码。相反,我们将花更多时间审查规划和最终资产。在 CodeRabbit 内部,工程师们审查的是发布(多个 PR),而不是单个 PR。
7. 工程师未经人工审核提交代码会被封禁。公司有一份“免审名单”,名单上的开发者可以将代码推送到生产环境而无需任何人审核其发布。当发生故障时,团队会追溯导致生产环境故障的 PR,推送该 PR 的开发者会记一次“警告”。累计足够多的警告后,其发布就必须由同事审核。我个人很喜欢这个想法:信任开发者可以推送到生产环境,但同时配套问责机制——如果你导致生产环境不稳定,信任就会被收回!
8. 微调模型不再值得投入。CodeRabbit 过去曾投资微调用于 AI 审核的模型,但 Harjot 表示,新前沿模型迭代速度更快,意味着维护自家微调模型会很难,所以不值得。
9. 存在“作战室”。为了完成重要工作,工程师、产品人员和设计师聚集在房间里,共同引导智能体,一起构建原型,然后做出可用的产品。这种方法让我想起 2016 年的 Uber,只不过“作战室”的工作要花 2-3 周,人们从不同办公室飞过来,意味着要对齐计划并拼出一个初步原型。团队在几个月内完成了剩余工作。
10. Harjot 招聘工程师时看重:能动性、经验广度以及系统思维。他发布了一则非传统招聘广告,只邀请过去 30 天内提交过 1,000+ 个非垃圾 PR 的候选人,或者玩过 500+ 小时策略与管理类游戏(如《文明》《帝国时代》《运输大亨》或《异星工厂》)的候选人。Harjot 说,他无法忽视同时运行数十个智能体与玩策略电子游戏之间的相似之处——后者也涉及追踪数十个单位的行为。
补充想法
这次对话让我思考了很多。我的第一反应是质疑为什么有人每月要在 AI 上花这么多钱;我会觉得这纯属浪费。所以,我很高兴能更深入了解 Harjot 的想法。我感觉他正在突破单个人类开发者同时运行数百个智能体时所能达到的极限,而且他仍然有更多想法来不及实现。另外,他不必担心自己的 AI 支出预算!
同样的使用量,花费能便宜很多吗?Harjot 和 CodeRabbit 支付的是前沿API 成本,而不是使用开源模型。我们在本周的推理深度分析中讨论了,由于 KV 缓存的一些细节,编码用例对推理供应商和前沿公司来说有多赚钱,以及面向个人和小企业的每月 200 美元 Max 套餐,其使用量接近每月 8,000-14,000 美元的 API 用量,原因同样是KV 缓存的盈利细节。转向开源模型肯定能减少其中很大一部分支出,但会牺牲一些能力。
工程师 + 策略游戏玩家的组合有助于推动 AI 智能体的使用?Harjot 不是那种不懂技术的“氛围编程者”:他已经写了 30 年代码,在转向 AI 智能体之前主要使用 Neovim。他长期痴迷于基础设施和分布式系统,年轻时玩过《文明》。他发现了这两项活动之间的相似之处,而他把它们纳入职位描述,这很有意思。
AI 智能体的“德古拉效应”确实存在。我经常看到 AI 智能体像吸血鬼一样榨干人们精力,就像 Steve Yegge 在二月份提到的那样。Harjot 也报告了睡眠受到干扰,比如半夜醒来去推动他的智能体。
资金充足、深度拥抱 AI 的初创公司可以从用 AI 构建中获得巨大的上行空间。在我们的对话过程中,我开始理解为什么 Harjot 和 CodeRabbit 在 AI 上投入这么多是合理的。他们需要构建 AI 原生初创公司想要使用的解决方案,而 CodeRabbit 本身深度拥抱 AI,这带来了第一手洞察和与客户共情的优势。从 Harjot 和 CodeRabbit 的工作方式中可以学到很多,尽管在大多数公司都在收紧 AI 支出的当下,这种做法看起来仍将是一个小众方向。
CodeRabbit 的业务是成为一家 AI 基础设施初创公司,而新产品的上市速度是一个巨大的差异化因素。在这种背景下,CodeRabbit 在内部构建大量软件,然后将其中一部分产品化,从而推动收入增长并可能在未来提升估值,这是合理的。我发现了解这类方法很有用,即使你决定这个方向对你个人、你的团队或公司来说并不可行。
与本集相关的 The Pragmatic Engineer 深度文章
• 为什么 Ramp 构建了自己的内部编码智能体 Inspect
• AI SRE:它是什么,如何改变 on-call——它真的有效吗?
时间戳
00:00 开场
03:17 Harjot 如何在一个月内提交超过 5,000 个拉取请求
08:46 Harjot 进入科技行业的历程和他的早期创业
12:25 早期对 AI 的信念与创立 CodeRabbit
14:40 转向 AI 编程
20:35 软件工厂详解
25:37 什么正在取代人工代码审查
38:44 技术债务与清理测试
46:05 评估
50:25 形式化方法
52:05 CodeRabbit 的 AI 成本
54:57 2026 年的初创公司融资与 AI 支出的价值
1:08:20 招聘
1:13:03 工作节奏、睡眠与倦怠
1:21:55 AI 时代的技能
1:24:30 书籍推荐
参考资料
在哪里找到 Harjot Gill:
• LinkedIn:https://www.linkedin.com/in/harjotsgill
Harjot 推荐的书籍《黑天鹅》作者 Nassim Nicholas Taleb: https://www.penguinrandomhouse.com/books/176226/the-black-swan-second-edition-by-nassim-nicholas-taleb/
本集提到的内容:
Harjot 关于他的拉取请求统计和 token 支出的帖子:
Harjot 的 dotfiles: https://github.com/coderabbitai/dotfiles
Tesla Full Self-Driving (Supervised): https://www.tesla.com/fsd
面向软件工程师的 AI 工具,但不带炒作——对话 Simon Willison(Django 联合创始人): https://newsletter.pragmaticengineer.com/p/ai-tools-for-software-engineers-simon-willison
宾夕法尼亚大学:https://www.upenn.edu
当 AI 编写几乎全部代码时,软件工程会怎样?: https://newsletter.pragmaticengineer.com/p/when-ai-writes-almost-all-code-what
任意规模的 Git(Cursor 关于 Origin 的文章): https://cursor.com/blog/git-at-any-scale
什么是 SOC 2 合规?: https://www.paloaltonetworks.com/cyberpedia/soc-2
Jake Runzer 关于 Railway 事故的文章:
The Pulse:CPU 短缺的新趋势: https://newsletter.pragmaticengineer.com/p/the-pulse-a-new-trend-of-cpu-shortages
Kubernetes 是如何构建的——对话 Kat Cosgrove: https://newsletter.pragmaticengineer.com/p/how-kubernetes-is-built-with-kat
形式化方法——对话 Hillel Wayne: https://newsletter.pragmaticengineer.com/p/formal-methods-with-hillel-wayne
Harjot 的文章,附 CodeRabbit 每周提交图表:
Harjot 关于 800 万美元以上种子轮已不再足够的文章:
为什么 Ramp 自研了内部编码智能体 Inspect: https://newsletter.pragmaticengineer.com/p/why-ramp-built-inspect
Spotify Confidence:https://confidence.spotify.com
Harjot 关于一周内提交 5K 个 PR 的文章,附 CodeRabbit 的招聘标准: https://www.linkedin.com/posts/harjotsgill_we-at-coderabbit-shipped-5k-prs-last-week-share-7518364258942758912-Bts_/
Matthew Walker 的《Why We Sleep》: https://www.amazon.com/dp/1501144324
Harjot 关于职业倦怠的文章:
技术、工具和厂商提及:
CodeRabbit:https://www.coderabbit.ai
Codex: https://chatgpt.com/codex
Claude Code: https://claude.com/product/claude-code
Neovim:https://neovim.io
New Relic:https://newrelic.com
AppDynamics: https://en.wikipedia.org/wiki/AppDynamics
eBPF:https://ebpf.io
Nutanix:https://www.nutanix.com
FluxNinja:https://www.fluxninja.com
GitHub Copilot: https://github.com/features/copilot
LTX(SQLite 复制文件格式): https://github.com/superfly/ltx
Effect:https://effect.website
XState: https://stately.ai/docs/xstate
OrbStack: https://orbstack.dev
Snyk:https://snyk.io
SonarSource: https://www.sonarsource.com
Lean: https://lean-lang.org
Sid Meier’s Civilization: https://civilization.2k.com
Datadog: https://www.datadoghq.com
Devin: https://devin.ai
Bun: https://bun.com
Rippling: https://www.rippling.com
—
制作与营销:Pen Name。
来源:The Pragmatic Engineer · newsletter.pragmaticengineer.com