arXiv cs.AI· Zhongkai Yu, Haotian Ye, Chenyang Zhou, Ohm Rishabh Venkatachalam, Zaifeng Pan, Zhengding Hu, Junsung Kim, Won Woo Ro, Po-An Tsai, Shuyi Pei, Yangwook Kang, Yufei Ding·· 10 小时前AI 评分34
AMMA：面向低延迟 1M 上下文注意力服务的多芯粒内存中心架构
AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving
AI 导读
AMMA 是一种多芯粒、内存中心的架构，用 HBM-PNM 立方体替代 GPU 计算裸片，将可用内存带宽大致翻倍，以服务内存受限的长上下文注意力负载。在 1M token 上下文场景下，AMMA 相比 NVIDIA H100 注意力延迟降低 15.5 倍、能耗降低 6.9 倍。该工作已被 MICRO 2026 接收。
正文 · AI 翻译
作者：Zhongkai Yu、Haotian Ye、Chenyang Zhou、Ohm Rishabh Venkatachalam、Zaifeng Pan、Zhengding Hu、Junsung Kim、Won Woo Ro、Po-An Tsai、Shuyi Pei、Yangwook Kang、Yufei Ding
摘要：当前所有 LLM 服务系统都以 GPU 为中心，从生产级的 attention-FFN 分离架构到 NVIDIA 的 Rubin GPU-LPU 异构平台皆是如此。即便是学术界的 PIM/PNM 方案，也仍将 GPU 视为跨设备通信的中心枢纽。然而，GPU 计算资源丰富的架构与解码阶段注意力机制的内存受限特性从根本上并不匹配，这不仅抬高了服务延迟，还在空闲的计算单元上浪费了功耗和芯片面积。随着推理与智能体工作负载将上下文长度推向一百万 token，这一问题进一步加剧，使注意力延迟成为用户侧的主要瓶颈。
为解决这些低效问题，我们提出 AMMA，一种面向低延迟长上下文注意力的多芯粒、以内存为中心的架构。AMMA 用 HBM-PNM 立方体取代 GPU 计算裸片，将可用内存带宽大致翻倍，从而更好地服务内存受限的注意力工作负载。为将这一带宽转化为成比例的性能提升，我们引入了：(i) 一种逻辑裸片微架构，在最低功耗与面积预算下充分利用每个立方体的内部带宽来执行解码注意力；(ii) 一种两级混合并行方案；(iii) 一种重排序的集合通信流程，以降低芯片内裸片间通信开销。我们还针对每个立方体的计算功耗和芯片内 D2D 链路带宽开展了设计空间探索，为硬件设计者提供了可操作的指导。评估表明，与 NVIDIA H100 相比，AMMA 的注意力延迟降低 15.5 倍，能耗降低 6.9 倍。
| Comments: | 已被第 59 届 IEEE/ACM 国际微架构研讨会（MICRO 2026）接收 |
| Subjects: | 硬件架构（cs.AR）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）；机器学习（cs.LG） |
| 引用格式： | arXiv:2604.26103 [cs.AR] |
| （或本版本的 arXiv:2604.26103v3 [cs.AR]） | |
| https://doi.org/10.48550/arXiv.2604.26103 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhongkai Yu [查看邮箱]
[v1]
2026 年 4 月 28 日星期二 20:36:50 UTC（1,071 KB）
[v2]
2026 年 4 月 30 日星期四 09:10:31 UTC（1,071 KB）
[v3]
2026 年 10 月 30 日星期五 06:58:33 UTC（1,188 KB）
来源：arXiv cs.AI · arxiv.org