arXiv cs.AI· Xingyu Xie, Xiaoyong Xie, Zhouchen Lin, Kim-Chuan Toh·· 3 天前AI 评分39
Echo：面向 LLM 训练与推理的误差补偿 4-Bit 张量并行通信
Echo: Error-Compensated 4-Bit Tensor-Parallel Communication for LLM Training and Inference
AI 导读
Echo 是一种用于 LLM 训练与推理的 4-bit all-reduce 方法，通过高精度求和并将每次量化注入的误差反馈到后续调用中，使累积误差与模型深度无关。
正文 · AI 翻译
摘要：张量并行在每一层末尾都会进行一次 all-reduce，而该操作位于两个相互依赖的矩阵乘法之间，因此其开销无法被隐藏，并且随着计算速度超过互连带宽而不断增长。发送 4 位而非 16 位的值可将这一开销降低近 4 倍，但 all-reduce 必须对其携带的值求和，而对和进行舍入会在每次调用时引入误差。模型质量取决于这些误差如何在各层间累积，然而现有方法将每次调用单独处理。我们提出 Echo，一种用于训练和推理的 4 位 all-reduce，可控制累积误差。Echo 以 4 位传输数据并以高精度求和，因此对于任意数量的 GPU，每个值在每次调用中最多被量化两次。求和过程会揭示每次注入的误差，Echo 将其反馈到后续调用中，从而使旧误差相互抵消而非累积。我们证明累积误差保持有界，且与深度无关。在 A100 GPU 上，对于 1 GB 消息，Echo 比 16 位 NCCL all-reduce 快 2.09 倍。在空闲互连上，它将首 token 时间最多加速 1.16 倍，将训练步时间最多加速 1.09 倍；随着背景流量增长，最多可加速 1.44 倍和 1.38 倍。在 Qwen3-8B 上，它使七个基准上的平均准确率与 16 位推理的差距保持在 0.4 个百分点以内。在 10B token 预训练中，其最终损失比 16 位训练高出不到 0.9%。Echo 无需 FP8 或 FP4 硬件。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.14277 [cs.AI] |
| （或使用 arXiv:2610.14277v1 [cs.AI] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.14277 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xingyu Xie [查看电子邮件]
[v1]
2026年10月9日星期五 19:49:55 UTC（148 KB）
来源：arXiv cs.AI · arxiv.org