AI ROI：为什么问题不在智能体本身

大多数 AI 智能体在生产环境中表现不佳，并不是因为模型错了，而是因为其周围的数据不完整，且结果未被衡量。两场演讲将探讨真正限制智能体 ROI 的两大约束：你的智能体能看见什么，以及你能否判断它是否在正常工作。

议程

ROI 不在智能体本身

许多智能体的 ROI 数字都是虚构的。它们来自每位工程负责人都心知肚明的那张电子表格：每位开发者节省的小时数，乘以员工人数，再乘以一个充满希望系数。问题在于，这把智能体当成了你所购买的东西，并把节省视为一次性入账、之后便可抛诸脑后的事情。

这场演讲认为，真正持久的回报位于更高一层，即智能体周围的环境：它所依据的上下文、评估，以及判断其输出是否合格的验证。更快的工具带来的节省会被花掉，且不会重复出现。投入到这套支撑体系中的钱则会持续产生回报，因为你构建的每一部分都让下一部分更便宜，而在此过程中产生的数据也会不断累积。

演讲还会探讨：为什么在你能衡量它之前，这一切都无法真正入账；以及为什么从凭感觉走向看指标，才是一段诚实的 ROI 叙事必须开始的地方。

Rob Willoughby，Tessl AI 研究技术团队成员

Rob 在 Tessl 从事评估研究，设计并运行大规模评估，考察编码智能体在真实代码库中的行为。他的工作重点是在 AI 智能体与你的代码协作时，弄清什么才算“好”——从评估设计和评分标准体系，到理解模型（以及基础设施）在大规模下会在哪里失效。

数据盲区：AI ROI 的隐藏杀手

为什么这么多 AI 智能体项目未能带来有意义的 ROI？

通常的答案都聚焦于模型、提示词和工具。但在实践中，最大的限制往往要简单得多：智能体看不到足够的业务信息。

大多数组织只让智能体访问少数几个数据源，却期望它们用对现实碎片化、不完整的视图来做出决策。每一个缺失的集成、延迟的更新或无法访问的数据集，都会成为一个盲区。而每一个盲区都会降低准确性、置信度、自动化率，并最终降低 ROI。

在这场演讲中，我将探讨为什么智能体的性能从根本上受限于数据可见性。我们会看看盲区是如何产生的，为什么传统集成方式难以跟上对智能体就绪数据日益增长的需求，以及现代事件驱动架构如何让业务上下文立即可供 AI 系统使用。

我们还会考察可见性与效率之间的关系：为什么数据更多并不总是更好，上下文最小化如何提升智能体性能，以及为什么最成功的智能体部署往往提供的是对现实最清晰的视图，而不是最大的上下文窗口。

低 ROI 的智能体并不愚蠢。它们只是看不见。

Tom Scott，Streambased CEO

Tom Scott 经营着 Streambased，这家公司为 AI 项目统一 Apache Kafka 和 Apache Iceberg。Tom 在分布式系统和数据基础设施领域拥有 20 多年的经验，曾作为客户和供应商处理事件流和大数据领域一些最令人兴奋的问题。

本次活动是作为 AI Native Dev Community 的一部分为您带来的。考虑订阅邮件列表、播客，并加入我们的 Discord 社区