EUROPA 在 JUPITER 超算完成 1T MoE 预训练
热点事件持续更新
EUROPA 在 JUPITER 超算完成 1T MoE 预训练
2 篇报道2 个报道来源2 小时前更新
先了解这件事
AI 综述
由 Domyn、Fraunhofer IAIS 和 IIS 组成的 EUROPA 联盟称，已在德国于利希研究中心运营的 EuroHPC 超算 JUPITER 上完成约 1T 参数 MoE 预训练，使用 384 块 NVIDIA GH200（96 节点），单 GPU 吞吐从 90 提升到约 1,300 tokens/s。联盟称这证明公共基础设施可支撑前沿规模训练。 JUPITER 是由公共资金支持、供数百个项目共享的研究基础设施。该联盟称其被选中开发一个至少 400B 参数、支持欧盟全部 24 种官方语言并严格符合《欧盟人工智能法案》的开放 MoE 模型。 联盟表示，为便于他人复现结果，已将全部修复上游到 PyTorch 和 TorchTitan。
AI 根据报道生成 · 30 分钟前更新
最新进展11月12日 20:00
EUROPA 用 PyTorch 与 TorchTitan 在 JUPITER 公有机群训练 1T 参数 MoE报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- RadarAIEUROPA 用 PyTorch 与 TorchTitan 在 JUPITER 公有机群训练 1T 参数 MoE
EUROPA 联盟借助 PyTorch 与 TorchTitan，在 EuroHPC 的 JUPITER 超算上把约 1T 参数 MoE 的预训练吞吐从每 GPU 90 tokens/s 提升到约 1,300 tokens/s，使用 384 块 NVIDIA GH200（96 节点）。
- PyTorch Blog精选EUROPA 联盟用 PyTorch 和 TorchTitan 在欧盟公共基础设施上训练 1T 参数 MoE
EUROPA 联盟（由 Domyn、Fraunhofer IAIS 和 IIS 组成）在 JUPITER 超算上完成约 1T 参数 MoE 预训练，单 GPU 吞吐从 90 提升到约 1,300 tokens/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。