arXiv·· 14 天前AI 评分22
LLM 推理中的并行策略：计算与通信的根本权衡
Characterizing Parallelism Strategies in LLM Inference: Fundamental Compute-Communication Trade-offs
AI 导读
研究系统刻画了 LLM 推理中张量并行（TP）、流水线并行（PP）与混合并行（HB）的计算-通信权衡。由于当前 SOTA LLM 已超出单 GPU 的算力与显存容量，推理需跨多 GPU 分布，而计算、通信与流水线利用率之间的复杂交互使并行策略选择依然困难。
来源：arXiv · arxiv.org