跳到正文
arXiv cs.CL· Dayou Du, Congjie He, Andrew Boutros, Luo Mai, Vaughn Betz, Jianyi Cheng·· 2 天前AI 评分34

WaferTetris:在晶圆级加速器上实现高效自由形态映射

WaferTetris: Efficient Freeform Mapping on Wafer-Scale Accelerators

AI 导读

WaferTetris 提出一种类似俄罗斯方块的自由形态映射策略,在晶圆级加速器上灵活排布计算任务,突破模板映射的固定几何布局限制,提升 PE 利用率与可用内存容量。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:晶圆级加速器通过横跨单个晶圆互连的数十万个处理单元(PE)提供大规模计算能力,但要实现这一潜力需要高效的应用映射。其规模使得为这些系统编程以及将应用映射到其上颇具挑战。现有方法依赖基于模板的映射来保持生产力,但这些模板限制了映射设计空间。特别是,它们在 PE 网格上强加固定的几何布局,常常使计算和内存资源利用不足。
在这项工作中,我们提出 WaferTetris,一个通过自由形式映射消除这些几何限制的系统。其类似俄罗斯方块的策略灵活地在整个晶圆上打包计算,在保留 PE 任务代码的同时提高 PE 利用率和可用内存容量。我们开发了一个基于递推的吞吐量模型,捕捉分支与汇合依赖以指导空间并行性,以及一个带有逐色门控的架构模型,使现有 FPGA 布局布线算法能够强制执行 WSE 路由约束。
我们在 Cerebras WSE-3 上使用 LLM 解码和科学模板基准评估 WaferTetris。对于 LLM 解码,在相同织物尺寸下,它达到基于模板的自动映射基线的最高 $4.42\times$ 系统吞吐量。与手动优化的 WaferLLM 相比,WaferTetris 对 LLaMA3.1-8B 支持 $1.8\times$ 的上下文长度(80k 对 44k),同时在匹配的上下文长度下提供相等或更高的每用户吞吐量,最高达 $1.10\times$。
主题: 硬件架构(cs.AR);计算与语言(cs.CL)
引用为: arXiv:2611.18527 [cs.AR]
  (或 arXiv:2611.18527v1 [cs.AR] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.18527

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:DaYou Du [查看电子邮件]
[v1] 2026年11月13日星期五 18:41:44 UTC(790 KB)

来源:arXiv cs.CL · arxiv.org