跳到正文
热点事件持续更新

CHARM+跨硬件注意力机制论文发布

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Xinhang Zhang 等作者提出跨硬件注意力机制 CHARM+,将顺序通信重组为多个层级,并解耦跨硬件与硬件内通信,以消除带宽不均衡带来的同步开销。 据该论文,在双 NUMA PCIe 架构上,CHARM+ 的前向与反向算法相比 Ring-Attention 平均加速 1.3 倍和 1.7 倍;在双节点 NVLink 架构上分别加速 2.8 倍和 2.9 倍。该工作已被 NeurIPS 2026 接收为 Poster。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.AI
    CHARM+:面向跨硬件场景的重合并多流注意力机制

    CHARM+ 提出跨硬件注意力机制,通过将顺序通信重组为多个层级并解耦跨硬件与硬件内通信,消除带宽不均衡带来的同步开销。在双 NUMA PCIe 架构上,其前向与反向算法相比 Ring-Attention 平均加速 1.3x 和 1.7x;在双节点 NVLink 架构上分别加速 2.8x 和 2.9x。该工作已被 NeurIPS 2026 接收为 Poster。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。