跳到正文
Together AI Blog·· 1 天前AI 评分58

Together AI 推出 Together Storage Accelerator,为 GPU 集群提供免费数据缓存

Introducing Together Storage Accelerator: fast, free data caching for your GPU cluster

AI 导读

Together AI 发布 Together Storage Accelerator(TSA),为 Together GPU 集群提供分布式缓存层,随每个 GPU 集群免费提供。

正文 · AI 翻译

你的 GPU 速度受限于你的数据管道。每一次训练运行都始于 30 分钟的模型下载,每一个节点都从全国各地重新拉取相同的数据集,每一个 Hugging Face 速率限制都会让任务停滞,导致计算资源闲置、等待你的数据,而你却要为它们付费。

今天我们推出 Together Storage Accelerator (TSA),这是一个面向 Together GPU 集群的分布式缓存层,它免除了从对象存储和 Hugging Face Hub 重复读取数据的需求,大幅加速你的 AI 数据管道,同时削减你的数据出口费用。现在,每个 Together GPU 集群都免费包含 TSA。

问题所在:你的数据远离你的 GPU

大多数 AI 团队将他们的真实数据源保存在对象存储中(Amazon S3、Cloudflare R2、Together AI 的 T4*),或直接从 Hugging Face Hub 拉取模型。这意味着每一次冷启动都要支付广域网税:跨云或跨区域读取速度慢、费用高(AWS 的出口费用高达 $0.09/GB),而且受到速率限制。当数百个节点拉取同一个检查点时,这种浪费会成倍放大,让你付出时间、金钱的代价,并在源站限流时导致任务失败。

*T4 是 Together AI 的数据中心内 S3 兼容对象存储解决方案,目前处于有限预览阶段。如果你有兴趣试用,请联系销售或你的客户团队。

‍

TSA 缓存数据,提升性能、可靠性和成本效益

TSA 为 GPU 集群提供分布式缓存层。它运行在你集群中的每个 GPU 节点上,并为你已在使用的存储提供即插即用的端点。当任何节点首次读取某个对象时,TSA 会将其缓存到集群 NVMe 上。因此,此后来自任何节点的每次读取都由集群内部以极高的本地速度提供服务。

在 Together GPU 集群 H100 节点上测得的结果:

  • 热读取速度约快 20 倍,相比从跨云源站拉取,每节点速度高达 3.4 GB/s。一个从 Cloudflare R2 下载需要 13-15 秒的 2 GiB 对象,从缓存读取只需 0.6 - 0.7 秒
  • 冷读取不产生额外成本:首次通过 TSA 读取的耗时与直接下载相差约 5% 以内
  • 每个集群仅需从源站拉取一次。 一个 70 GB 的检查点被 200 个节点拉取时,只从源站下载一次,而不是 200 次
  • 对中断和速率限制的韧性。 即使上游不可用,缓存数据仍可继续提供服务。

你可以无需对应用程序做任何更改就开始使用 TSA。无需新的 SDK,无需重写数据加载器,只需一条命令即可开始。

快速开始:

# S3-compatible storage (S3, R2, T4, ...)
export AWS_ENDPOINT_URL=http://tsa.tsa.svc.cluster.local:18080

# Hugging Face Hub
export HF_ENDPOINT=http://tsa.tsa.svc.cluster.local:18080

你现有的 boto3 代码、transformers 调用和 CLI 工作流均可照常使用。TSA 使用你配置的凭据处理身份验证。凭据经过加密并安全存储在密钥保管库中。

实测结果

测量于 2026-10-28,从 Together GPU 集群(us-central)中一个 H100 节点上的 pod 进行。除非另有说明,均为单流读取;客户端写入 /dev/null 或节点 NVMe。

  • 从跨云存储桶(Cloudflare R2)读取一个 2 GiB 对象: 无 TSA 时为 143–169 MB/s(12.7–15.0 秒),TSA 热缓存时为 3.0–3.4 GB/s(0.64–0.72 秒)。约 20 倍
  • 从同一存储桶读取小文件(5 KB、2.4 MB): 无 TSA 时为 320 毫秒和 680 毫秒,TSA 热缓存时为 5 毫秒和 8 毫秒。延迟降低约 60–80 倍
  • 200 节点集群拉取同一检查点:无 TSA 时需 200 次源站拉取,启用 TSA 后仅 1 次。200× 更少的出口流量

在 Together GPU Clusters 预览部署上测得(TSA 图表 0.6.0);你的结果取决于源站、对象大小和网络路径。源站速度因地区而异:同一次 Hugging Face 下载从 us-central 运行比从 ca-west 快 5 倍,因此 TSA 在源站最慢的地方收益最大。方法:在 GPU 节点上的 Pod 中执行单流 curl 和 aws s3 cp,重复读取同一对象,并通过 MD5 与直接下载进行校验。

由 ASTRA 提供支持

TSA 依托 ASTRA(Accelerated Storage Transport & Retrieval Architecture,加速存储传输与检索架构),这是我们构建的分布式缓存技术,用于支撑全球一些最大的 GPU 集群,包括我们自己的推理集群。我们将在后续的工程博客中分享对 ASTRA 更深入的技术剖析。

与 T4 搭配更佳

TSA 可与任何兼容 S3 的存储配合使用,并且与 T4(Together AI 的托管对象存储解决方案)天然契合。今天即可将 TSA 指向你现有的 S3 或 R2 存储桶,无需迁移数据。当你希望热数据永久驻留在 GPU 附近时,只需更改一项配置即可切换到 T4。T4 目前处于有限预览阶段:请联系销售或你的客户团队获取访问权限。

开始使用

Together Storage Accelerator 现已在 Together GPU Clusters 上免费提供。可在集群的 Settings 页面启用,或参阅文档,在十分钟内从零开始实现加速。

→ 创建集群

‍→ 阅读文档

来源:Together AI Blog · together.ai