X · Luma AI·· 4 小时前AI 评分15
Luma AI 提出面向打包多模态掩码的精确序列并行，在 128 张 H100 上 48 个用例中 47 胜 FlashMask + Ulysses 混合方案
Exact sequence parallelism for packed multimodal masks. It picks ring attention, a sparse all-to-all or Ulysses per layer, matches single-GPU numerics, and beats a FlashMask + Ulysses hybrid in 47 of 48 cases on up to 128 H100s. https://t.co/VFujPDSDgE https://t.co/jfpzATvJn5
AI 导读
Luma AI 提出一种面向打包多模态掩码的精确序列并行方法，逐层在 ring attention、稀疏 all-to-all 与 Ulysses 之间选择，数值结果与单 GPU 一致。在最多 128 张 H100 上，该方法在 48 个用例中的 47 个优于 FlashMask + Ulysses 混合方案。
博主
Luma@LumaLabsAI
粉丝 20万
认证：X 认证的官方组织
Creative Agents That Make You Prolific. Try Luma → https://t.co/UA4zpCzgLT
互动数据
- 浏览
- 3656
- 点赞
- 34
- 评论
- 2
- 分享
- 6
- 收藏
- 19
约为这个来源平时的 3.0 倍
数字来自平台，为最近一次抓取时的数据。
来源：X · Luma AI · x.com