Hugging Face 增量上传：239GB 数据集仅传输 2.6MB
Hugging Face 增量上传省下 239GB 流量
microagi 向 Hugging Face 重新上传一个 239 GB 数据集，仅小幅修改，实际只有 2.6 MB 走网络，约一分钟完成。增量上传在规模化时持续见效，因为机器人录制数据高度重复；配合 Cloudflare Workers 分发到任意云，超过 1 PB 成本约 500 美元。
Thomas Wolf· @Thom_Wolf · X·2026-10-26 23:57· 47 分钟前AI 评分47
AI 导读
来自 @microagi 关于传输 PB 级机器人数据的文章里有个有趣的数据： 他们向 Hugging Face 重新上传了一个 239 GB 的数据集，只做了小幅修改。结果只有 2.6 MB 走了网络，大约一分钟就完成了（！） 而且这在规模化时持续见效，因为机器人录制数据高度重复（相同的场景、相同的设备）。然后 @Cloudflare workers 把它分发到任何云，超过 1 PB 只需约 500 美元 团队写的这篇文章很棒：https://www.microagi.ai/articles/delivery-platform
正文 · 原文
来自 @microagi 关于传输 PB 级机器人数据的文章里有个有趣的数据：
他们向 Hugging Face 重新上传了一个 239 GB 的数据集，只做了小幅修改。结果只有 2.6 MB 走了网络，大约一分钟就完成了（！）
而且这在规模化时持续见效，因为机器人录制数据高度重复（相同的场景、相同的设备）。然后 @Cloudflare workers 把它分发到任何云，超过 1 PB 只需约 500 美元
团队写的这篇文章很棒：https://www.microagi.ai/articles/delivery-platform
随着我们的客户使用数百万小时的录制数据扩展到训练机器人模型，我们需要构建一种新型的数据基础设施。 数 TB 的数据在几分钟内交付，并且有能力每天向我们的每一位客户交付超过 1 PB 的数据，同时向多个客户交付。这相当于每秒超过 10 GB，交付到任何云，无论我们的客户需要在哪里。 使用我们的客户门户，客户可以精确选择他们想要的数据，数据会在几分钟内开始到达他们的目的地，包括 AWS、GCP、Cloudflare、Hugging Face 以及任何能够处理该摄取速度的云提供商。 我们写了一篇文章，介绍我们如何与 @huggingface 和 @Cloudflare 合作构建这一安全、可扩展的基础设施。链接见评论。在 X 查看被引用的帖子
来源：Thomas Wolf · x.com
来源：RadarAI · aihot.news