Eval Engineering：AI 评估工程如何成为生产级 AI 的治理层

核心要点

1. 评估工程是一门构建生产级基础设施的学科，用于在规模化场景下主动治理 AI 行为。
2. 与传统测试不同，评估工程将重点从事后诊断转向实时执行质量标准。
3. 通过将领域专业知识编码进自动化评估系统，组织可以弥合“信任鸿沟”，并可靠地将 AI 智能体部署到生产环境中。

2022 年 11 月，一位名叫 Jake Moffatt 的男子访问加拿大航空网站，预订一张前往祖母葬礼的机票。他向该航空公司的聊天机器人询问丧亲票价。聊天机器人告诉他，他现在可以预订全价机票，并在 90 天内申请丧亲折扣。这个聊天机器人错了。当航空公司拒绝退款时，他们辩称聊天机器人是一个独立的法律实体，应对自己的行为负责。一个仲裁庭裁定他们败诉，指出公司对其网站上的所有信息负责，无论来源如何。加拿大航空欠 Moffatt 812 美元。

这一事件让每一位正在部署 AI 的高管心中早已存在的恐惧变得清晰起来：

当系统说出错误信息，而直到为时已晚才有人发现时，会发生什么？

加拿大航空把正确的政策写了下来，但他们缺少一个系统来确保其 AI 真正反映该政策。那些正在交付生产级 AI 的团队，使用的 LLM 和其他人一样。区别在于生成之后发生的事情。评估层。行业视为事后补充的这一部分，实际上才是全部关键。

（本文是我们 评估工程系列 的一部分。使用右侧链接探索相关主题和教程。）

定义评估工程

评估工程是一门构建生产级评估系统的学科，用于在规模化场景下治理 AI 行为。它将评估视为基础设施，而非检查点。在这一层，你的领域专业知识变得可执行——你对“好”的定义在每一次交互中都可强制执行，而不仅仅是在你抽样的那些交互中。

什么是 eval？

为澄清术语：“eval”是 evaluation 的缩写。AI 评估是一种自动化测试，将 AI 输出与定义的成功标准进行比较。评估工程是构建管理这些评估的系统的更广泛学科。

传统 eval 与评估工程

大多数团队将评估视为一种质量检查，是发布前要做的事情。是通往生产环境途中要通过的一道关卡。

• 传统评估问的是：“这有用吗？”
• 评估工程问的是一个更难的问题：“我们如何确保它在生产环境中、在规模化场景下、随着条件变化持续有效，并在用户看到之前捕获失败？”

第一个问题给你一份报告。第二个问题给你一个系统。

这种区别很重要，因为仅仅测量不会改变任何事情。Eval 告诉你 30% 的输出很糟糕，但它们无法阻止这些输出到达用户。它们不会随着时间推移而改进。评估工程彻底颠覆了这一点，将测量转化为行动：如果某个输出未通过评估，它就不会发布。如果出现失败模式，系统会适应。如果领域专业知识存在于某人的头脑中，它就会被编码进可规模化运行的基础设施中。

思维模式的转变如下所示：

传统 eval 方法

评估工程方法

Eval 是调试工具

评估是治理系统

部署前运行一次

在生产环境中持续运行

通用准确率指标

领域特定精度

抽样 10% 的流量

覆盖 100% 的流量

静态测试集

自适应评估

成本中心

战略资产

衡量行为

治理行为

评估工程不是……

要理解这门学科是什么，先界定它不是什么会有所帮助：

• 评估工程不是测试。测试问的是某样东西能否工作。评估工程确保它持续工作。
• 评估工程不只是可观测性或指标。虽然这些提供了诊断系统状态和性能所必需的可见性，但评估工程充当的是主动的治理层，在质量问题触达用户之前就强制执行质量标准。
• 评估工程不是一个项目。项目会结束。评估工程是一种你需要无限期构建和维护的能力，因为生产数据会漂移，用户行为会变化。此外，模型提供商可能会在毫无预警的情况下推送更新。
• 评估工程不是传统机器学习。机器学习评估在留出数据集上测试模型准确率。评估工程在应用层运作，以领域特定标准在 100% 覆盖率下评估生产环境中的系统行为。其单元从“模型”转变为“已部署的应用”，时间线从“发布前”转变为“永远”。
• 评估工程不是上下文工程。你可以组装出完美的上下文，却仍然产出欠佳的输出。上下文工程决定输入什么。评估工程决定输出是否足够好。它们是同一系统的两半。同时掌握两者的工程师将定义下一代 AI 开发。

AI 开发的现状：挑战与机遇

现代 LLM 和智能体框架已将开发周期从数月压缩到数天。搭建一个RAG 系统只需一个下午。让智能体调用工具只需几个小时的提示工程。构建部分基本已被解决。然而大多数 AI 项目从未进入生产环境。那些正在交付生产级 AI 的团队使用的 LLM 和其他人一样。区别在于评估层——这个常被视为事后补充的部分，实际上才是全部关键所在。

AI 项目停滞的原因

组织常常因为缺乏确定性而停滞。没有哪位产品副总裁会批准一个自己无法解释的生产部署。没有哪个法务团队会在不了解可能出什么问题以及出错频率的情况下批准面向客户的智能体。没有哪位 CFO 会资助一个无法量化自身可靠性的 AI 计划的下一阶段。组织扼杀 AI 项目，不是因为技术失败。他们放弃这些项目，是因为没人能证明它有效。

评估就是创造这种证明的机制。它们让产品团队能够有凭有据地说：“这在 97% 的情况下有效，以下是它无效的 3%，以及失败时会发生什么。”

警告：放弃 AI 的常见原因

Gartner 预测，超过 40% 的智能体 AI 项目将在2027 年底前被放弃或彻底取消。普遍的假设是他们缺乏人才、模型或框架。但仔细看：他们有大量原型。他们缺乏的是信任自己所构建之物的能力。这种信任缺口以可预测的模式显现：

• 无休止的试点循环：项目演示效果很好，却永远无法进入生产环境。利益相关者总是要求“再多测试一点”。
• 救火陷阱：团队只是在应对生产故障，而不是预防它们。每一次事故都会侵蚀信心。
• 重建税：每个新项目都从头重建评估基础设施。没有共享的经验教训。
• 准确率平台期：70% 的准确率再也无法提升。团队尝试不同的提示词、更换模型、增加更多测试用例。什么都无济于事，因为他们是在一个破碎的范式内做优化。

那些能够大规模交付生产级 AI 的团队明白了一件事：你可以在一个周末内更换模型。但你无法更换你对“好”的理解。成功将智能体交付到生产环境的团队，其差异化不在于他们调用什么模型——而在于他们如何知道它正在正常工作。

评估工程的好处

评估的第一个好处是规范与清晰。两个工程师阅读同一份产品规格，会对边缘情况做出不同的解读。“智能体应该是有帮助的”对不同的人意味着不同的东西。评估套件通过迫使团队明确阐述成功究竟是什么样的，解决了这种模糊性。编写测试用例的过程会暴露出需求中的缺口，否则这些缺口会在生产环境中以 bug 的形式浮现。

评估还能加速一切。当新模型发布时，没有评估的团队要面对数周的手动测试。有评估的团队在一夜之间运行他们的套件，到早上就知道哪些能力提升了、哪些退步了，以及这次升级是否值得。他们调整提示词、验证变更，几天内就能交付，而竞争对手还在猜测。

评估还成为产品与工程之间的沟通渠道。产品团队不再提出“提升质量”这类模糊要求，而是可以指向具体的失败用例。随着时间推移，你的评估套件会成为机构知识：系统记住了个别工程师会遗忘的东西。

评估的价值会随时间复利增长。评估需要前期投入时间和基础设施，但它通过将主观意见转化为数据驱动的证据，带来长期价值。除了提供性能基线，评估还有助于：

• 产品与工程之间的沟通。
• 防止不必要的过度工程。
• 建立一个永久的机构知识库，记录过去的边缘情况，并简化团队入职。

阶段

没有评估

有评估

模型升级

数周的手动测试

一夜运行套件，几天内交付

提示词变更

祈祷没有东西坏掉

确切知道改了什么

Bug 报告

猜测与试探

复现、修复、加入回归套件

新员工入职

口口相传的部落知识

阅读测试用例

为什么评估在今天至关重要

多重力量正在汇聚，使评估工程成为紧迫的优先事项：

1. 经济性：模型层正在快速商品化

GPT、Claude、Gemini、Llama 等在能力上趋同，并在价格上竞争。切换成本正在下降。你使用哪个模型，每个季度都变得不那么重要。差异化正在向应用层转移：你如何部署、如何定制、如何确保质量。

胜出的团队将是那些能够可靠交付、而不仅仅是做原型的团队。评估工程正是实现可靠交付的能力。

2. 信任已成为瓶颈

在 AI 采用上落后的企业并不缺模型、框架或人才。他们缺的是信任。他们的法务团队不肯签字。他们的合规团队有顾虑。他们的高管被一个在生产环境中失败的演示坑过，如今犹豫不决。Eval Engineering 就是要系统性地制造信任。它把“我们认为它能用”变成“我们能证明它能用，而且能证明它会一直能用”。

3. 行业转变：智能体如何构建

Agent Development Lifecycle（ADLC）是对传统 SDLC 针对概率性系统的重新思考。多家公司的 ADLC 框架所呈现的模式是一致的：前期规划的时间更少，调优和优化的时间显著更多，并且更加重视自动化治理。

每个 ADLC 框架的核心都是评估。Eval Engineering 是让 ADLC 真正运转起来的技艺。

战略要务：评估的价值

未来，评估将比你的代码更有价值。评估编码了你对质量的定义，并承载了你的领域专业知识。模型是可以替换的商品，但你的评估是你自己的。它们体现了你的组织如何思考、你的客户期望什么，以及在你的特定语境中“好”意味着什么。一家公司的评估目录将成为核心知识产权。把评估开发视为战略投资的团队，将拥有竞争对手无法复制的资产。

关于评估和 eval engineering 的常见问题

什么是 eval engineering？

Eval engineering 是一门构建生产级系统的学科，通过自动化地依据既定成功标准验证输出，来大规模治理 AI 行为。

eval engineering 与传统测试有何不同？

传统测试确认系统在发布前是否能工作，而 eval engineering 则构建持续、主动的基础设施，确保系统在生产条件变化时仍保持可靠。

为什么许多 AI 项目无法进入生产环境？

许多项目停滞，是因为组织缺乏证明可靠性的能力，从而形成“信任鸿沟”，使利益相关者无法批准面向客户的部署。

可观测性与 eval engineering 之间是什么关系？

可观测性和智能体可观测性提供了理解系统状态和性能所必需的诊断可见性，而 eval engineering 则充当实时执行质量标准的治理层。

为什么 eval engineering 被视为战略资产？

评估编码了一个组织特定的领域专业知识和其对“好”的定义，创造出捕获机构知识的永久知识产权，并提供竞争优势。