TRACE：用残差激活码本压缩分布式推理通信

Muhammad Azlan Qazi、Alexandros Iosifidis 和 Qi Zhang 提交论文，提出 TRACE 框架，用于降低分布式 Transformer 推理的通信开销。其做法是在每层 Transformer 的 post-attention 残差处放置向量量化器，把需要交换的激活编码为紧凑的码本索引；接收端查表直接恢复 key/value，省去下游投影计算，并让通信与计算重叠。 报道未给出该框架的实测压缩率、精度损失或适用模型范围，上述效果均为论文提出的设计目标。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。