NVIDIA Technical Blog· Dan Feigin·· 2 天前AI 评分58
NVIDIA 开源 Snapshot，可在数秒内启动和恢复 GPU 负载
Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot
AI 导读
NVIDIA 发布开源组件 NVIDIA Snapshot，作为 NVIDIA DSX AI Factory Platform 的一部分，让已初始化的 GPU 负载可在推理副本之间复用，从而加快启动与恢复。原文指出，LLM 负载初始化即冷启动可能耗时数分钟，当推理需求激增或副本故障时，空闲 GPU 无法立即转化为服务容量。
正文 · AI 翻译
NVIDIA Snapshot 是 NVIDIA DSX AI Factory Platform 的新开源组件，它使已初始化的 GPU 工作负载可在推理……
NVIDIA Snapshot 是 NVIDIA DSX AI Factory Platform 的新开源组件，它使已初始化的 GPU 工作负载可在推理副本之间复用——从而加快启动和恢复速度。当推理需求激增或某个副本发生故障时，可用的 GPU 并不会立即转化为服务容量。初始化一个 LLM 工作负载——这一过程被称为冷启动——可能需要数分钟……
来源：NVIDIA Technical Blog · developer.nvidia.com