企业 AI 的新经济学：HPE 谈如何衡量 AI 的有效成本

想象一下，你的公司刚刚发现了电。起初只有少数机器靠它运转，没人担心效率问题——用电量低，价值显而易见。但一旦电成为基础设施，每个流程都依赖它，问题就从“我们能用它吗？”变成了“我们用它的效率有多高？”

企业 AI 正在经历同样的转变。最初只是零散的聊天机器人和 copilot 实验，如今正成为业务的基础层，模型、智能体和数据在生产工作负载中日益相互连接。重要的问题不再是 token 或 GPU 小时的成本，而是 AI 环境将付费算力转化为有用业务成果的效率。

这才是值得追踪的指标：每个有用成果的有效成本——即完成业务真正可用的工作（无论是已解决的请求还是已完成的工作流）所需的平台、模型、运营和算力总成本。

运行 AI 的三种方式

利用率是经济性的核心。将更多工作导向已付费的算力可降低有效单位成本；闲置的 GPU、碎片化的工作负载和过大的模型都会抬高每个有用成果的成本。企业通常会在三种模式中选择：

定制技术栈——在内部采购基础设施和管控措施。这种方式灵活，但会带来持续负担，因为团队必须随着模型和政策变化重新验证环境。

按需消费——超大规模云厂商减轻了组装负担，适合需求低或不稳定的场景，但每次提示或智能体操作都会产生费用。

集成式私有 AI 平台——自有或专用算力搭配经过验证的技术栈。其优势不在于免费推理，而在于对调度、模型选择、GPU 分区和缓存管理等效率杠杆的控制。

正确的模式取决于工作负载。对于实验或需求波动的场景，API 可能是合理选择。当工作负载变得持续且业务关键时，企业需要权衡的不仅是消耗了什么，还包括系统运行的效率。

所有权是一种运营纪律

买一辆一级方程式赛车停在车库里，意味着你拥有了一辆有史以来最精密的车辆之一——但仅仅拥有并不能让你具备竞争力；你仍然需要车手、机械师和赛道时间来证明它的价值。AI 基础设施也是如此。

企业 AI 中最大的误解之一是，拥有基础设施会自动改善经济性。拥有 GPU 创造了改善经济性的机会，但前提是组织有足够的需求和运营纪律来保持资源高效运转。

回报率最高的基础设施不是参考架构或定制搭建，而是一个完全集成、经过验证的技术栈，让团队能够将任务路由到满足质量要求的最低成本模型，并通过 KV-cache 管理等技术复用上下文，在保持响应能力的同时减少算力浪费。

没有这些实践，承诺的基础设施可能变成搁浅资本。有了它们，随着固定成本分摊到更多有用工作上，需求增长会改善经济性——这在智能体系统中日益重要，因为其经济性更多取决于整个环境的效率，而非任何单一提示。

从部署到价值

HPE Private Cloud AI 是一个可直接投入生产的基础平台，融合了基础设施、软件、模型、工具、治理和服务，降低了大规模运行私有 AI 的集成负担。其架构让团队能够将调度、模型选择、GPU 分区和缓存管理作为运营杠杆来管理，使容量和服务水平与每个工作负载的需求相匹配。它还包含为期 90 天的前置部署工程师参与服务，帮助客户团队部署初始用例并建立可重复的运营实践。

在 HPE 委托进行的独立测试中，一个以高利用率服务多个工作负载的集成平台，其每 token 的有效成本低于反复租用同等容量。实际结果将因工作负载组合和利用率而异。

衡量真正重要的指标

Token 消耗量仍然有用，但它并不能完整衡量 AI 的经济效益。更全面的企业视角会追踪每项业务相关成果的成本、加速器利用率，以及相对于任务复杂度的模型选择。

已经在运营私有 AI 的企业应当审视其利用率的成熟度，以及未来 12 到 18 个月工作负载量将如何变化。处于旅程较早阶段的企业应从首次部署起就建立这些实践，让战略在需求成为瓶颈之前就预见到增长。

对于低量、不可预测的需求，API 或超大规模云服务商可能仍然是合理选择。但随着 AI 成为持续的生产能力，企业越来越有动力去控制利用率、摊销固定成本，并将环境作为长期运营资产来管理。战略问题不在于企业是否会为 AI 付费——而在于他们是否会理解并最终掌控其背后的经济效益。

如需了解更多关于 HPE Private Cloud AI 的信息，请访问 HPE。

本内容由 HPE 制作。并非由 MIT Technology Review 编辑团队撰写。