NVIDIA Technical Blog· Shara Tibken·· 3 小时前AI 评分20
NVIDIA 如何通过协同设计最大化 AI 工厂中每个字节的价值
Five Ways NVIDIA Co-Design Maximizes the Value of Every Byte in the AI Factory
AI 导读
NVIDIA 提出五种协同设计方法，以最大化 AI 工厂中 HBM 每个字节的有效产出。其核心思路是把冗余权重副本、闲置会话的 KV cache 和重复计算的前缀视为浪费，衡量标准从 GPU 内存容量转向每字节能产出多少 token。
正文 · AI 翻译
在 AI 工厂中，高带宽内存（HBM）是最快、最昂贵、竞争最激烈的内存层级。每一个字节，无论是花在冗余的权重副本、空闲会话的 KV 缓存，还是重新计算的前缀上，都是没有用于生成 token 的字节。问题不再是 GPU 拥有多少内存，而是每个字节能交付多少有用的工作。下图 1 中的各代数据……
在 AI 工厂中，高带宽内存（HBM）是最快、最昂贵、竞争最激烈的内存层级。每一个字节，无论是花在冗余的权重副本、空闲会话的 KV 缓存，还是重新计算的前缀上，都是没有用于生成 token 的字节。问题不再是 GPU 拥有多少内存，而是每个字节能交付多少有用的工作。下图 1 中的各代数据……
来源：NVIDIA Technical Blog · developer.nvidia.com