LangSmith for Coding Agents 开启公测:按 pull request 追踪编码 Agent 花费
LangChain 宣布 LangSmith for Coding Agents 进入 LangSmith Cloud 公测,可把 Claude Code、OpenAI Codex、Cursor、GitHub Copilot 和 Deep Agents 的每条 trace 花费自动归因到其产出的 pull request。
LangChain:Blog·2026-11-18 23:00· 35 分钟前AI 评分53
LangSmith for Coding Agents:现可按成果追踪花费
AI 导读
LangChain 宣布 LangSmith 推出面向编码 Agent 的报告功能,进入 LangSmith Cloud 公测,可自动把 Claude Code、OpenAI Codex、Cursor、GitHub Copilot 和 Deep Agents 等编码 Agent 的每条 trace 花费归因到其产出的 pull request。
正文 · 原文
编码是企业 AI 应用支出中最大的类别,2026 年达到 340 亿美元。如今每家公司都想知道这些支出能带来什么回报,但大多数工程负责人仍无法准确回答它究竟买到了什么。
为了尝试理解编码 Agent 的 ROI,团队过去会查看使用分析和 AI 消耗量等高层级数据,但这些数据无法揭示 token 实际产出了什么。回答 ROI 问题很难,需要了解用户和团队层面的支出可见性,还需要一种将其与成果关联起来的方法。当我们自己的编码 Agent Robin 的支出开始攀升时,我们亲身感受到了这种摩擦,这也是我们构建模型路由器的原因之一。
现在,我们也很高兴为客户提供实用的解决方案。LangSmith 现提供专为编码 Agent 打造的报告功能,以及将其支出与产出的 pull request 关联起来的新能力。这提供了一种更清晰的方式,来计算编码 Agent 预算背后的 ROI,并理解模型和策略的变化会如何影响它。
以 pull request 作为会话的成果
新的 LangSmith Agent Platform 围绕 Agent 运作。每个 Agent 都有自己的记录,并属于一个“Agent 类型”,该类型决定其仪表盘显示什么、连接哪些数据以及如何被评估。编码 Agent 是首个专门的 Agent 类型,展示 pull request 相关数据,这是 Agent 工作有用的标志之一。
LangSmith 已经能够追踪跨模型提供商的编码 Agent,包括 Claude Code 和 Codex。在 LangSmith 中使用编码 Agent 时,每条 trace 中的花费会自动归因到该 Agent 参与贡献的 pull request。这种归因反映了编码 Agent 被用于的任务。它既涵盖单个线程可以打开多个 PR 的情况,也涵盖一个 PR 需要多个线程才能完成的情况,因此 LangSmith 中的数据能反映你的 Agent 实际完成了什么以及花费了多少。
为你追踪的每个编码 Agent 提供一个仪表盘
在此之前,LangSmith 让你可以一次查看一个 trace,了解任意编码 Agent 的每条 trace 成本。这对手动调试很有用,但无法提供整个团队层面的趋势可见性。新的编码 Agent 概览页面会汇总这些成本,并将其与你的 Agent 所处理的 pull request 关联起来。
该仪表盘可一眼展示 KPI,点击任何指标即可打开其随时间变化的趋势。例如,如果你的团队切换了模型,你可以对比切换前后,查看这一变化的影响。

LangSmith 还会按每个 PR 的状态(打开、关闭或合并)来细分支出。这有助于了解有多少拉取请求作为成功代码被合并,以及有多少未解决而被关闭。合并的拉取请求是一个有用的信号,但它们并不是高效工作的唯一标志。编码代理也用于审查代码和调查问题,这些工作并不总是以 PR 结束。LangSmith 将这部分支出单独追踪为未归属。你可以点击进入,打开其背后的线程,查看实际工作内容,以及它是否有价值。

工作类型视图显示你的代理被要求做什么。LangSmith 根据每个线程所要求的工作类型(例如功能、错误修复、调查和代码审查)对其进行标记,并显示每种类型的线程占比和成本。每个组织根据自身用例决定什么算作偏离主题,因此,仅将编码代理用于后端服务的团队可以标记用户要求代理起草营销文案的线程。此视图还有助于解释未归属支出,因为审查和调查线程通常不会以自身的 PR 结束。

仪表板还显示你的代理调用了哪些技能、最昂贵的 PR,以及成本如何随对话长度变化。每个指标都链接回其背后的线程和会话,因此你可以打开确切的对话,查看代理在该会话中做了什么。
适用于所有主流编码代理
许多工程团队并不只运行一个编码代理。一些工程师使用 Claude Code,另一些使用 Cursor 或 Copilot,平台团队通常使用像 Deep Agents 这样的开源框架构建自己的代理。LangSmith 将所有代理追踪到同一位置,因此支出和拉取请求结果汇总到一个仪表板中,而不是分散在各自的供应商控制台中。
LangSmith for Coding Agents 支持:Claude Code、OpenAI Codex、Cursor、VS Code 中的 GitHub Copilot,以及面向构建自定义编码代理团队的 Deep Agents。
团队如何使用这些指标
创造辅导机会
按归属成本排序可显示哪些拉取请求的生产成本最高,每个拉取请求都可追溯到其线程、涉及的模型以及背后的 GitHub 用户。打开这些线程可以了解 PR 成本为何如此,例如一个不断增长的线程或在小修复上使用了前沿模型。当一位工程师以低得多的成本合并了同类工作时,你可以找出他们的不同做法并与团队分享。
长线程是辅导可以产生积极影响的另一个方面。支出集中在非常长的线程中,因为每一轮新对话都会携带整个对话的上下文。在多个任务中保持一个线程打开是一种容易养成的习惯,按线程长度查看成本可以显示这些长线程占你支出的多少。启动新线程可以避免再次为上下文付费,Anthropic 的 Claude Code 成本指南出于同样原因建议在任务之间清除上下文。一旦你与团队分享了这一指导,同一视图会显示该习惯是否真正改变。
衡量模型变更
当新模型发布时,你可以通过对比团队迁移前后每个已合并 PR 的成本,判断其成果是否配得上它的价格。当你尝试新的提供商时,可以让它与当前使用的提供商并行运行,并在同一视图中比较两者的成本和成果。将子代理迁移到比运行主代理更小的模型上,应该能降低成本。按模型划分的成本明细会显示节省了多少,而成果则显示工作是否仍能合并。
查看你的代理依赖哪些技能
技能调用也会被追踪,因此你可以看到团队代理最常使用哪些技能,并打开它们运行所在的线程。当某个技能持续出现在冗长、昂贵的线程中时,它的指令可能正在让代理多走几轮,重写它可能是一个值得尝试的快速修复。当某个技能倾向于出现在以合并 PR 结束的短线程中时,可能值得让团队中更多人使用它。新技能也是同样的道理:先向少数工程师推广,然后比较使用它的线程与不使用它的线程的成本和合并 PR 数。
让工程和财务部门对成本有统一的视图
每个已合并 PR 的成本向财务部门展示了单位已交付工作的成本。LangSmith 将其与未归因支出并列展示,后者是那些从未产生 PR 的会话的成本。未归因支出可能仍然是有用的工作,比如探索代码库或审查变更,因此每个已合并 PR 成本看起来较高的团队可能仍采取了合理的方法。当成本激增或下降时,工程部门可以打开这些任务背后的线程,展示支出用在了哪里。
开始使用
LangSmith for Coding Agents 已在 LangSmith Cloud 上公开测试。编码代理追踪会计入你常规的 LangSmith 追踪用量。
设置分为三步:
- Install the LangSmith plugin for each coding agent your team uses. Plugins are available for the following agents:
- 连接 GitHub。
- 在 LangSmith 中打开编码代理概览页面。
例如,在 Claude Code 中,该插件可通过在会话内运行的三条命令安装。
/plugin marketplace add langchain-ai/langsmith-claude-code-plugins
/plugin install langsmith-tracing@langsmith-claude-code-plugins
/reload-plugins从一个代理和一个仓库开始,第一批线程一进来,你就能看到按拉取请求拆分的支出。在文档中了解更多。
接下来
我们才刚刚开始!请留意 LangSmith 中围绕编码代理的更多定制体验。有疑问或想建议接下来追踪什么?请在 LangChain 论坛上分享。
来源:LangChain:Blog · langchain.com
来源:RadarAI · aihot.news