Databricks 谈 AI 智能体 ROI 困境：为什么企业采用快却难以证明回报

Amber Roberts 是 Databricks 的一名员工技术营销经理，过去几年里她一直在观察 AI 在组织内部实际是如何被使用的，而不仅仅是它被宣传成什么样。在这次对话中，她谈到了为什么用“更快”来理解 agentic AI 是错误的，为什么这么多公司难以展示其 AI 投资的 ROI，以及一个 AI agent 要在工作中真正有用、而不只是在演示中令人印象深刻，必须具备哪些条件。

为什么用速度来衡量 AI 生产力是错误的

大多数关于 AI 生产力的讨论仍然围绕速度：用更快的方式完成同样的任务。为什么这对思考 agentic AI 来说是错误的视角，团队又应该考虑哪些其他 KPI？

Amber Roberts：生产力与一个团队实际的 KPI 挂钩，而这取决于你所处的位置。对某些团队来说，工作是注重细节的，速度并不是最大的问题。对另一些团队来说，延迟就是全部。甚至“速度”这个词也意味着不同的东西：比如开发速度与推理速度。

工程生产力和营销生产力不是一回事，也不应该用同样的方式来衡量。所以我会反驳那种认为存在某个唯一正确 KPI 可以替换进来的想法。这取决于团队，而且老实说，也取决于个人。一个从零开始学习某个领域的人，使用 AI 的方式会与一个已经清楚知道自己想构建什么、只想把繁琐部分自动化的人不同，他们看重的价值也不同。

我对那些一味宣称“这是错误的思考方式”的标题持怀疑态度。这里面有很多灰色地带。即使是同一个团队里的人，根据各自的专业程度，他们对想从 AI 中获得什么也可能有不同的优先级。

AI 的 ROI 缺口：为什么采用速度超过了证明速度

越来越多的研究表明，公司在快速采用 AI，却难以展示真正的 ROI。为什么会出现这种缺口，这又揭示了大多数组织如今部署 AI agent 的方式存在什么问题？

Amber Roberts：购买 AI 的人和日常使用 AI 的人往往是不同的人。买家不想在这场游戏中落后。他们的工作依赖于保持在技术前沿，即使他们并不是实施技术的人。如果他们看到竞争对手在购买和部署 AI，他们就会想要促成交易。任何新技术都是如此：没人想成为被落下的人。

然后，在六个月到几年之后，你开始看到它是否真正建立了 ROI，是否值得所花费的成本。这正是许多组织目前所处的阶段：审视他们买了什么，将其广泛推广，并弄清楚它对哪些用例有效。其中很多都是试错。但这种试错仍然好过落后竞争对手六个月。

重新定义 agentic 世界中的生产力

你如何定义 agentic 世界中的生产力，这与企业在过去 20 年里衡量生产力的方式有何不同？

Amber Roberts：生产力的经典定义是劳动力、时间和资本等投入转化为商品和服务等产出的有效程度。有趣的是，AI 输出的不是商品，而是服务，是在幕后优化某些东西。

关键的转变在于：过去衡量生产力，看的是一个人能做多少工作。而现在，看的是一个人在一群助手的协助下能做多少工作。这一点甚至体现在我们评估人的方式上，无论是面试还是带回家的测评。一个人独自在四小时内产出多少已经不再令人印象深刻，因为这与一个人善用 AI 时的产出之间存在明显差距。这就是新的基准线。但这并不取代对主题的深入知识。它只是意味着同样的直觉、同样的品味、同样的专业能力，如今被应用在了一个不同的规模上。

我看到最大的跃升出现在人们把那些过去占据他们一天的事情——那些重复性的、可安排的、"雇个助手来做这个"的工作——自动化掉，从而能专注于工作中更难、更有创造性的部分。那些需要真正提出异议和判断的部分，因为 AI 的默认模式是顺从。它对几乎任何事情都会说"听起来不错"。这对一个助手来说是有用的，但也正因如此，工作中那些需要有人去争辩、去反驳、去说"不，这不对"的部分，如今变得更重要，而不是更不重要。

这也是人们在报告生产力提升却没有附带质量指标时容易忽略的部分。生产力在技术上与效率挂钩，而它假定你并没有为了达到效率而牺牲质量。如果一家公司说他们的效率提高了 40%，那只有在质量保持稳定的前提下才真正有意义。否则，你可能只是花了同样的时间产出同样的结果，却多了更多环节。这与我们在内容领域具体看到的情况相符：当你把产量推高，却没有额外关注那些让内容出色的细节时，质量往往会下滑。工具并不总能跟上。

为什么业务上下文胜过单纯的任务速度

很多 AI 工具都能执行任务。对一个智能体来说，"理解业务上下文"究竟意味着什么，为什么这比速度更重要？

Amber Roberts：我把它想象成把 AI 智能体与一个真正的人类助手作比较。如果你让一个助手去做某件事，而他们没有你的上下文、你的日程，或者对过去几个月发生了什么一无所知，他们就无法把工作做好。想象一下，让一个人去策划一场活动，却没有宾客名单、没有库存、没有记录上次做了什么、什么奏效、什么没奏效、供应商是谁以及他们擅长什么。你没法就这么把这些替换掉。这正是为什么拥有深厚机构知识的人如此难以替代：失去那个人并培训一个新人的代价，远高于留住他们。

这就是业务上下文的价值所在。你可以看到很多不错的演示，展示"如何构建这个东西"，配有确实很好的通用说明。但如果你问"我该如何给我的房子加盖一个扩建部分"，一个通用的 AI 工具会解释扩建一般是怎么运作的。它不会知道你的邮政编码、你当地的建筑规范、你所在城市的条例。它没有任何针对你具体情况的信息。而如果你真正想构建的是为你的公司所用的东西——这恰恰是你一开始就想在工作中使用 AI 的全部理由——那基本上就是没用的。

高价值、可重复的用例出现在哪里

目前正在涌现的高价值、可重复的用例有哪些例子？

Amber Roberts：说实话，例子太多了，很难只挑一个。工程领域就是个很好的例子：安排任务调度，或者使用像 Genie Spaces 这样的工具，这样你就不必是工程师也能理解代码，你只需输入一个问题，就能得到幻灯片、文档和上下文信息，包括组织里还有谁已经在处理同一个问题。

但这实际上遍及每一个职能：健康、市场、销售、财务。每个行业，以及其中的每个团队，都有过去需要很长时间、现在不再如此的自动化工作流。这是一个真正新颖的时刻。有些机会还从未被触及或想到过，这让当下成为一个相当独特的工作领域。

一个具体的例子：我最近不得不临时接手一位同事的工作，负责在会议前确认演讲嘉宾。这个流程的手动版本是逐一给每位演讲者发邮件，或者顶多发一份表单再手动汇总回复。而我则设置了一个智能体来给所有演讲者发消息、记录他们的回复，并标记出尚未确认的人。第二个智能体审查未回复的情况并自动跟进。等我查看时，全部 137 位演讲者都已联系并确认，只有两位恰好正在休育儿假。这正是那种可重复、跨职能、当下正适合用这种方式处理的任务。

衡量成功：旧指标仍然重要，但仅靠它们还不够

企业领导者应该如何衡量智能体部署是否奏效？哪些指标或信号应该取代已关闭工单数或节省工时这类旧的生产力衡量标准？

Amber Roberts：我认为传统指标不会消失，它们仍然是大多数组织定义成功的方式。尤其是工程师，除非看到现有指标有所改善，否则他们不会相信某件事真的奏效。所以你必须从那里开始：如果一项任务过去需要一小时，而智能体能在五分钟内完成，这种结果才能真正说服人。

节省的工时、关闭的工单，这些仍然重要，而且它们让人类保持在流程中。变化在于你在其之上增加了什么。你可以引入 AI 特有的指标：让第三方 LLM 充当裁判，依据你定义的标准进行评判。对于聊天机器人这类东西，你仍然会追踪解决时间和用户满意度，但现在你还可以自动检查正确性、幻觉、语气，并标记边缘情况或异常，而不必自己手动翻查每一条反馈。

最常见的错误：还没准备好就扩大规模

在组织尝试扩大智能体 AI 规模时，你看到的最常见错误是什么？就是那种把“更快”变成“朝错误方向更快”的错误。

Amber Roberts：最大的错误是在某件事还没运转良好时就试图扩大规模。几个例子效果不错，人们很兴奋，本能反应就是“让我们扩大这个”。但“扩大规模”已经有点变成流行词了。真正的问题是：你具体想看到发生什么？必须逐个用例来评估。有时候，这件事根本不需要扩大规模。

很多时候，看似是扩展性问题，实际上是就绪度问题：仅仅让一个实例良好运行就需要大量迭代，而这一点往往被忽视。这和团队说“我们有这么多数据，让我们在此基础上构建”却不检查数据是否合适是同一个模式。另一些时候，则是基础设施缺口。来自较小初创公司的演示可能看起来很棒，让扩展显得简单，但如果没有支持它的基础设施，就没有可扩展的基础。这正是许多幕后优化工作的意义所在：构建使扩展成为可能的基础设施，而不仅仅是承诺它会实现。

五年后一天的工作会是什么样子

五年后，知识工作者“一天的工作”会是什么样子？要在组织层面实现这一点，需要具备哪些条件？

Amber Roberts：我真的无法自信地预测。两年前我也无法告诉你我们今天会走到哪里。最近我读到自己两年前写的东西，几乎认不出它已经偏离了多远。

我确实认为仍然成立的一点是，批判性思维现在比以往任何时候都更重要。过去，当你收到一份文档、一段视频或一项工作时，有一种基本的信任：你可以对具体细节吹毛求疵，但总体上你信任来源。现在你真的不知道你拿到的是什么。在审查任何东西之前，你就必须假设它可能是AI生成的，而且是没有上下文的AI生成，这意味着它可能使用了过时信息、错误信息，甚至是竞争对手的信息，而没有人意识到这一点。

这意味着每个人都必须随时准备好批判性地评估他们看到的一切和他们发布的一切。我不认为“过于精致”现在还能被解读为可信。人们会开始把任何听起来过于顺从、过于圆滑的东西视为一种信号，表明它可能是AI生成的，背后没有真正的判断。这正是为什么让真正的专家和倡导者参与其中——那些知道足够多、能够提出反对意见的人——会变得更加重要，而不是更不重要，随着这项技术变得更强。

生产力的真正衡量标准 在每一个问题中，同一个想法不断浮现：代理式AI并没有让旧的生产力衡量标准过时，而是让它们变得不完整。节省的时间和关闭的工单仍然重要，但它们只告诉你什么变得更快，而不是什么变得更好。获得真正价值的组织不是那些为速度而追求速度的组织。它们是那些为代理提供业务上下文以做出良好决策、让人类参与其中以提供判断和反对意见，并诚实地说明某件事何时准备好扩展、而不是仅仅在演示中看起来不错的组织。

了解 Genie 如何帮助每位用户用自然语言提问，并获得基于受治理企业数据的可信答案。