跳到正文
热点事件持续更新

EchoMoE:压缩激活降低专家并行通信量

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Fengyuan Liu 等作者提出 EchoMoE,一种对现有 MoE 模型的轻量架构改造:节点间只传输隐藏状态的压缩差值而非完整状态。作者称,该方法将节点间通信量降低 58%、吞吐提升 22.6%,在 18 个基准上平均性能差距在 3.8 个百分点以内;在带宽受限的以太网上,推理吞吐最高提升 2.38 倍。 改造现有 MoE 模型所需训练 token 约为完整预训练的 1/8500。作者还称,传输的表示可量化而不带来可测量的质量损失。团队已开源实现及 vLLM 推理集成。上述效果均为论文作者报告。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    EchoMoE:通过激活压缩实现高效专家并行

    EchoMoE 是一种轻量架构改造,通过只传输隐藏状态的压缩差值而非完整状态,将 MoE 模型节点间通信量降低 58%、吞吐提升 22.6%,18 个基准上平均性能差距在 3.8 个百分点以内。该方法仅需约 8,500 倍少于完整预训练的训练 token 即可改造现有 MoE 模型,在带宽受限的以太网上推理吞吐最高提升 2.38 倍。团队已开源实现及 vLLM 推理集成。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。