AI 推理留下的隐性存储账单：8 秒视频背后 500MB 数据

如果让大多数高管想象 AI 的成本，他们脑海中很可能浮现的是 GPU——成排的加速器、吉瓦级的电力——以及硅片的等候名单。但这幅图景遗漏了一些东西：数据存储成本。

模型响应之后数据会怎样？生成的大量后端数据——来自每天数十亿次的提示、图像和视频——都需要被存储。但数据存储是最难规划的基础设施成本之一，而且在最初的 AI 基础设施规划中往往被忽视。

随着推理规模扩大，数据足迹也随之增长

传统上，AI 基础设施的讨论一直集中在模型训练这一计算密集型过程上。训练是有限的：一次运行开始、消耗算力、然后结束。但推理是持续运行的，每当模型回答一个提示时都会发生。对于基础设施规划而言，这一差异至关重要：一次训练运行是一个可以编制预算并结束的项目。推理不会结束；每一个推理请求都会留下一些东西。

以 AI 生成的视频为例。在这种工作负载中，后端开销可能相当可观。根据内部测量，WD 发现一段 8 秒的片段（以 3.97MB 的 720p 文件形式返回给用户）在后端留下了超过 500MB 的关联数据，包括日志、缓存上下文、即时渲染、备份和安全记录。这比用户看到的输出文件大小增加了 130 倍。将其扩展到生成更长、更高分辨率视频的企业，每个片段的后端足迹将增长到数百 GB。

而且这一后端足迹正在快速增长。麦肯锡预测 AI 推理需求到 2030 年将以 35% 的复合年增长率增长，而训练为 22%，到本十年末将占数据中心总需求的 40% 以上。

WD 赞助的 IDC 近期一份全球白皮书调查了 763 名 IT 和业务决策者，发现近 95% 的受访者报告称，过去 12 个月中生成式 AI 导致数据量增加，其中约 61% 报告增长达到 25% 或以上。

报告中引用的一位超大规模云服务提供商高级产品经理表示：“你可以把拥有更多存储视为让 GPU 保持忙碌的一种优化。”“最大的挑战是确保 GPU 不会空闲下来等待数据出现——数小时的 GPU 空闲时间会非常迅速地变得非常昂贵。”用美元来说：如果你的存储支出每年增长 25%，而计算预算以更可预测的周期性方式增长，那么存储最终会超过最受关注的那条预算线。

让存储匹配 AI 数据生命周期

计算需求随训练周期、产品发布和硬件更新而起伏。但当计算需求放缓时，留存数据的量并不会随之回落。模型日志、合成输出、推理结果等不断累积，组织保留的数据更多、时间更长。

这改变了留存数据的作用。曾经被移入归档、很少再出现的信息，如今可以成为未来 AI 工作负载的输入。随着更多数据被留存、检索和重用，存储不仅必须支持不断增长的容量，还必须支持日益动态的访问。同一项 WD-IDC 调查发现，96% 的受访者预计需要更快的归档检索来支持推理或检索增强生成（RAG）。

AI 工作负载既需要性能也需要容量，不同的技术在整个数据生命周期中满足不同的需求。而对于必须长期保留并反复访问的海量数据，HDD 提供了经济高效的高容量基础，具有显著的每 TB 成本优势

这对 AI 预算方式意味着什么

对于 CFO 或 CIO 而言，这意味着“AI 基础设施支出”的界定可能过于狭窄地聚焦于计算。一个因数据加载而闲置的模型，其成本与一个因缺少 GPU 而闲置的模型大致相当。但存储瓶颈在成为问题之前始终是隐形的，它体现在运营成本和检索延迟上，而不是出现在加速器旁边的资本支出条目中。

以一家为产品目录生成 AI 产品视频的零售商，或一家通过 RAG 流水线处理理赔文件以加快核保的保险公司为例。在这两种情况下，计算成本都是已知的、已纳入预算的量：即财务可以预测的每次生成或每次查询的费率。存储成本则不同：它会随着每生成一个视频和每处理一份理赔而累积，因为任务完成后，这些后端数据都不会消失。

一个将 AI 预算视为“计算加上存储的零头”的团队，可能会在 12 到 18 个月后发现，这个零头已成为项目总成本的显著部分——而这恰恰是领导层决定是否扩大投入的时候。

构建经济上可扩展的容量

应对这一挑战要从架构入手。存储策略往往是为昂贵的热层性能（针对即时、持续访问的数据）而设计的，而按数据量计算，大多数 AI 数据都堆积在其后的温层、冷层和冰层中。

企业需要的是经济上可扩展的容量：即为完整的 AI 数据生命周期设计的基础设施，在数据持续存在、不断累积且被日益复用的过程中，平衡性能与容量、功耗、可靠性和总拥有成本。这意味着要将曾经无人问津的归档视为 RAG 和推理的活跃资产，并依据数据日益增长的战略价值而非其最初的存储成本来制定保留策略。这也意味着要认识到，存储决策是在整个集群层面发挥作用，而非单个驱动器。

这样的基础设施需要分层存储，其中个性化的功耗、可靠性、密度和运营效率共同决定系统在容量扩展时能否保持经济上的可持续性。

关于贵组织的 AI 基础设施预算，有三个问题值得一问：

我们对 AI 生成内容的数据保留策略是什么，由谁制定？
我们的存储采购是依据训练时的性能需求，还是依据我们所生产数据的实际生命周期？
如果明年我们的 AI 使用量翻倍，我们的存储成本会随之翻倍，还是更糟？

大多数组织无法自信地回答全部三个问题。这正是值得在下一个预算周期之前而非之后弥合的差距。

本内容由 WD 制作。并非由 MIT Technology Review 编辑团队撰写。