arXiv cs.AI· Xinhang Zhang, Boning Zhang, Chengchun Liu, Chunpu Li, Lei Sun, Weifeng Zhang, Limin Xiao·· 11 小时前AI 评分29
CHARM+：面向跨硬件场景的重合并多流注意力机制
CHARM+: Cross-Hardware Attention with Re-Merge Multistream Mechanism
AI 导读
CHARM+ 提出跨硬件注意力机制，通过将顺序通信重组为多个层级并解耦跨硬件与硬件内通信，消除带宽不均衡带来的同步开销。在双 NUMA PCIe 架构上，其前向与反向算法相比 Ring-Attention 平均加速 1.3x 和 1.7x；在双节点 NVLink 架构上分别加速 2.8x 和 2.9x。该工作已被 NeurIPS 2026 接收为 Poster。
正文 · AI 翻译
摘要：随着序列长度不断增长，基于序列并行的分布式注意力（例如 Ring-Attention）已成为大语言模型（LLM）的主流解决方案。然而，固有的通信依赖限制了计算与通信的重叠，降低了 GPU 利用率。此外，在跨硬件（NUMA 或节点）架构中，由于通信带宽不均衡，频繁的通信同步会限制整体性能。基于这些洞察，我们提出 CHARM+，即带重合并多流机制的跨硬件注意力。我们将顺序通信重组为多个层级，实现层级内并行与计算重叠。此外，我们将跨硬件通信与硬件内通信解耦，消除带宽不均衡导致的同步开销。前向与反向算法在多种硬件架构上进行了评估，并持续优于最先进的方法。与 Ring-Attention 相比，我们的前向和反向算法在双 NUMA PCIe 架构上平均分别实现 1.3 倍和 1.7 倍加速，在双节点 NVLink 架构上分别实现 2.8 倍和 2.9 倍加速。
| 评论： | 已被 NeurIPS 2026 接收（海报） |
| 主题： | 人工智能（cs.AI）；硬件架构（cs.AR）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2611.05906 [cs.AI] |
| （或 arXiv:2611.05906v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05906 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Boning Zhang [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 03:57:56 UTC（758 KB）
来源：arXiv cs.AI · arxiv.org