arXiv cs.AI· Muhammad Azlan Qazi, Alexandros Iosifidis, Qi Zhang·· 11 小时前AI 评分22
TRACE：面向通信高效分布式边缘推理的 Transformer 残差激活码本编码
TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference
AI 导读
TRACE 在每层 Transformer 的 post-attention 残差处放置向量量化器（VQ），将交换的激活编码为紧凑码本索引，接收端通过查表直接恢复 key/value，省去下游投影计算，实现通信与计算重叠。
正文 · AI 翻译
摘要：在共址边缘设备上进行分布式 Transformer 推理本质上受通信限制，因为在商用边缘带宽下，序列并行分区之间交换激活值主导了推理延迟。现有压缩方案降低了这一开销，但仍存在结构性瓶颈：接收到的数据仍须经过键/值投影才能进行注意力计算，使计算串行化于通信之后。本文提出 Transformer 残差激活码本编码（Trace）框架，以解决这些局限。Trace 在每一层 Transformer 的注意力后残差处放置向量量化器（VQ），并预计算以码本索引的键/值表示。推理时，交换的激活值被编码为紧凑的码本索引，接收方可通过查表直接恢复键和值，而无需执行推导它们所需的下游计算。通过消除接收数据的下游计算，Trace 实现了通信—计算重叠，并减少了分布式 Transformer 推理中的关键延迟瓶颈。层次聚类进一步将学习到的码本组织为多分辨率层次结构，从而无需重新训练即可在运行时自适应调整通信比特率。该框架支持两种运行变体：一种优先保证精度，另一种通过缓冲区兼容量化在精度与效率之间取得平衡。在 ViT-Base（ImageNet-1K 和 CIFAR-100）和 ViViT-B（UCF-101）上的实验表明，与最先进的基于 VQ 的分布式推理框架相比，Trace 的精度最高提升 1.89%，端到端推理速度最高提升 1.27 倍。与未压缩的序列并行推理相比，Trace 将通信开销最多降低 22,624 倍。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2610.22435 [cs.LG] |
| （或本版本的 arXiv:2610.22435v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.22435 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Muhammad Azlan Qazi [查看邮箱]
[v1]
2026年10月15日 星期四 09:57:04 UTC（626 KB）
来源：arXiv cs.AI · arxiv.org