RadarAI· X：Luma AI (@LumaLabsAI)·· 3 小时前AI 评分36
Luma AI 为打包多模态掩码推出精确序列并行方案
Luma AI 打包多模态掩码精确序列并行
AI 导读
Luma AI 提出面向打包多模态掩码的精确序列并行方法，按层在 ring attention、稀疏 all-to-all 与 Ulysses 之间选择，数值结果与单 GPU 一致。在最多 128 块 H100 上，该方法于 48 个案例中的 47 个优于 FlashMask + Ulysses 混合方案。
正文 · AI 翻译
Luma· @LumaLabsAI · X·2026-10-20 00:37· 49 分钟前AI 评分37
AI 导读
面向打包多模态掩码的精确序列并行。 它按层选择 ring attention、稀疏 all-to-all 或 Ulysses，数值与单 GPU 一致，并在最多 128 块 H100 上于 48 个案例中的 47 个优于 FlashMask + Ulysses 混合方案。 https://lumalabs.ai/news/packed-multimodal-attention
正文 · 原文
面向打包多模态掩码的精确序列并行。
它按层选择 ring attention、稀疏 all-to-all 或 Ulysses，数值与单 GPU 一致，并在最多 128 块 H100 上于 48 个案例中的 47 个优于 FlashMask + Ulysses 混合方案。
https://lumalabs.ai/news/packed-multimodal-attention
来源：Luma · x.com
来源：RadarAI · aihot.news